sql >> データベース >  >> NoSQL >> Redis

redis + gevent-パフォーマンスが悪い-何が間違っているのですか?

    これは予想されることです。

    このベンチマークは、システムコールのコストが物理ハードウェアよりも高いVMで実行します。 geventをアクティブにすると、(epollデバイスを処理するために)より多くのシステムコールが生成される傾向があるため、パフォーマンスが低下します。

    スクリプトでstraceを使用すると、この点を簡単に確認できます。

    geventがない場合、内部ループは以下を生成します:

    recvfrom(3, ":931\r\n", 4096, 0, NULL, NULL) = 6
    sendto(3, "*3\r\n$6\r\nINCRBY\r\n$10\r\ntestsocket\r"..., 41, 0, NULL, 0) = 41
    recvfrom(3, ":941\r\n", 4096, 0, NULL, NULL) = 6
    sendto(3, "*3\r\n$6\r\nINCRBY\r\n$10\r\ntestsocket\r"..., 41, 0, NULL, 0) = 41
    

    geventを使用すると、次のことが発生します。

    recvfrom(3, ":221\r\n", 4096, 0, NULL, NULL) = 6
    sendto(3, "*3\r\n$6\r\nINCRBY\r\n$10\r\ntestsocket\r"..., 41, 0, NULL, 0) = 41
    recvfrom(3, 0x7b0f04, 4096, 0, 0, 0)    = -1 EAGAIN (Resource temporarily unavailable)
    epoll_ctl(5, EPOLL_CTL_ADD, 3, {EPOLLIN, {u32=3, u64=3}}) = 0
    epoll_wait(5, {{EPOLLIN, {u32=3, u64=3}}}, 32, 4294967295) = 1
    clock_gettime(CLOCK_MONOTONIC, {2469, 779710323}) = 0
    epoll_ctl(5, EPOLL_CTL_DEL, 3, {EPOLLIN, {u32=3, u64=3}}) = 0
    recvfrom(3, ":231\r\n", 4096, 0, NULL, NULL) = 6
    sendto(3, "*3\r\n$6\r\nINCRBY\r\n$10\r\ntestsocket\r"..., 41, 0, NULL, 0) = 41
    

    recvfrom呼び出しがブロックされている場合(EAGAIN)、geventはイベントループに戻るため、ファイル記述子イベント(epoll_wait)を待機するために追加の呼び出しが行われます。

    この種のベンチマークは、ファイル記述子が1つしかないため、待機操作を複数の記述子で因数分解できないため、イベントループシステムにとって最悪のケースであることに注意してください。さらに、すべてが同期しているため、非同期I/Oはここでは何も改善できません。

    これは、Redisにとっても最悪のケースです。理由は次のとおりです。

    • サーバーへの多くのラウンドトリップを生成します

    • プールはUxDomainSocket関数で宣言されているため、体系的に接続/切断(1000回)します。

    実際、ベンチマークはgevent、redis、redis-pyをテストしていません。VMの機能を実行して、2つのプロセス間でピンポンゲームを維持します。

    パフォーマンスを向上させたい場合は、次のことを行う必要があります。

    • パイプラインを使用してラウンドトリップの数を減らします

    • ベンチマーク全体でプールを永続化する

    たとえば、次のスクリプトを検討してください。

    #!/usr/bin/python
    
    from gevent import monkey
    monkey.patch_all()
    
    import timeit
    import redis
    from redis.connection import UnixDomainSocketConnection
    
    pool = redis.ConnectionPool(connection_class=UnixDomainSocketConnection, path = '/tmp/redis.sock')
    
    def UxDomainSocket():
        r = redis.Redis(connection_pool = pool)
        p = r.pipeline(transaction=False)
        p.set("testsocket", 1)
        for i in range(100):
            p.incr('testsocket', 10)
        p.get('testsocket')
        p.delete('testsocket')
        p.execute()
    
    print timeit.Timer(stmt='UxDomainSocket()', setup='from __main__ import UxDomainSocket').timeit(number=1000)
    

    このスクリプトを使用すると、パフォーマンスが約3倍向上し、geventによるオーバーヘッドはほとんどありません。




    1. Redisデータ構造のスペース要件

    2. フラグが設定されるまでMongodbロックコレクション?

    3. ハイブリッドクラウド環境全体でのMongoDBの複製

    4. マングースfind()、結果ドキュメントにアクセスする方法は?