sql >> データベース >  >> NoSQL >> MongoDB

複数のフィールドによるmongodbグループ値

    TLDRの概要

    最新のMongoDBリリースでは、 $ slaveを使用してこれをブルートフォースすることができます 基本的な集計結果から少し外れています。 「大きな」結果の場合は、グループごとに代わりに並列クエリを実行するか(デモリストは回答の最後にあります)、SERVER-9377が解決するのを待ちます。これにより、アイテム数の「制限」が $ push 配列に。

    db.books.aggregate([
        { "$group": {
            "_id": {
                "addr": "$addr",
                "book": "$book"
            },
            "bookCount": { "$sum": 1 }
        }},
        { "$group": {
            "_id": "$_id.addr",
            "books": { 
                "$push": { 
                    "book": "$_id.book",
                    "count": "$bookCount"
                },
            },
            "count": { "$sum": "$bookCount" }
        }},
        { "$sort": { "count": -1 } },
        { "$limit": 2 },
        { "$project": {
            "books": { "$slice": [ "$books", 2 ] },
            "count": 1
        }}
    ])
    

    MongoDB3.6プレビュー

    まだSERVER-9377を解決していませんが、このリリースでは $ lookup "pipeline"を使用する新しい「非相関」オプションを許可します "localFields"の代わりに引数としての式 および"foreignFields" オプション。これにより、別のパイプライン式との「自己結合」が可能になり、 $ limitを適用できます。 「トップn」の結果を返すために。

    db.books.aggregate([
      { "$group": {
        "_id": "$addr",
        "count": { "$sum": 1 }
      }},
      { "$sort": { "count": -1 } },
      { "$limit": 2 },
      { "$lookup": {
        "from": "books",
        "let": {
          "addr": "$_id"
        },
        "pipeline": [
          { "$match": { 
            "$expr": { "$eq": [ "$addr", "$$addr"] }
          }},
          { "$group": {
            "_id": "$book",
            "count": { "$sum": 1 }
          }},
          { "$sort": { "count": -1  } },
          { "$limit": 2 }
        ],
        "as": "books"
      }}
    ])
    

    ここでの他の追加は、もちろん、 $ exprを介して変数を補間する機能です。 $ matchを使用する 「結合」で一致するアイテムを選択しますが、一般的な前提は、親からの一致によって内部コンテンツをフィルタリングできる「パイプライン内のパイプライン」です。どちらもそれ自体が「パイプライン」であるため、 $ limitできます。 それぞれの結果は別々です。

    これは、並列クエリを実行するための次善のオプションであり、実際には $ matchの方が適しています。 「サブパイプライン」処理でインデックスを使用できるようになりました。つまり、これは「 $ pushへの制限」を使用しません 「参照された問題が尋ねているように、それは実際にもっとうまくいくはずの何かを提供します。

    オリジナルコンテンツ

    あなたは一番上の「N」問題に出くわしたようです。ある意味で、あなたが求める正確な制限はありませんが、あなたの問題はかなり簡単に解決できます:

    db.books.aggregate([
        { "$group": {
            "_id": {
                "addr": "$addr",
                "book": "$book"
            },
            "bookCount": { "$sum": 1 }
        }},
        { "$group": {
            "_id": "$_id.addr",
            "books": { 
                "$push": { 
                    "book": "$_id.book",
                    "count": "$bookCount"
                },
            },
            "count": { "$sum": "$bookCount" }
        }},
        { "$sort": { "count": -1 } },
        { "$limit": 2 }
    ])
    

    これで、次のような結果が得られます:

    {
        "result" : [
                {
                        "_id" : "address1",
                        "books" : [
                                {
                                        "book" : "book4",
                                        "count" : 1
                                },
                                {
                                        "book" : "book5",
                                        "count" : 1
                                },
                                {
                                        "book" : "book1",
                                        "count" : 3
                                }
                        ],
                        "count" : 5
                },
                {
                        "_id" : "address2",
                        "books" : [
                                {
                                        "book" : "book5",
                                        "count" : 1
                                },
                                {
                                        "book" : "book1",
                                        "count" : 2
                                }
                        ],
                        "count" : 3
                }
        ],
        "ok" : 1
    }
    

    したがって、これはあなたが求めているものとは異なりますが、アドレス値の上位の結果は得られますが、基礎となる「本」の選択は、必要な量の結果だけに限定されません。

    これを行うのは非常に難しいことがわかりますが、一致させる必要のあるアイテムの数に応じて複雑さが増すだけですが、それは可能です。簡単にするために、これを最大2試合に保つことができます:

    db.books.aggregate([
        { "$group": {
            "_id": {
                "addr": "$addr",
                "book": "$book"
            },
            "bookCount": { "$sum": 1 }
        }},
        { "$group": {
            "_id": "$_id.addr",
            "books": { 
                "$push": { 
                    "book": "$_id.book",
                    "count": "$bookCount"
                },
            },
            "count": { "$sum": "$bookCount" }
        }},
        { "$sort": { "count": -1 } },
        { "$limit": 2 },
        { "$unwind": "$books" },
        { "$sort": { "count": 1, "books.count": -1 } },
        { "$group": {
            "_id": "$_id",
            "books": { "$push": "$books" },
            "count": { "$first": "$count" }
        }},
        { "$project": {
            "_id": {
                "_id": "$_id",
                "books": "$books",
                "count": "$count"
            },
            "newBooks": "$books"
        }},
        { "$unwind": "$newBooks" },
        { "$group": {
          "_id": "$_id",
          "num1": { "$first": "$newBooks" }
        }},
        { "$project": {
            "_id": "$_id",
            "newBooks": "$_id.books",
            "num1": 1
        }},
        { "$unwind": "$newBooks" },
        { "$project": {
            "_id": "$_id",
            "num1": 1,
            "newBooks": 1,
            "seen": { "$eq": [
                "$num1",
                "$newBooks"
            ]}
        }},
        { "$match": { "seen": false } },
        { "$group":{
            "_id": "$_id._id",
            "num1": { "$first": "$num1" },
            "num2": { "$first": "$newBooks" },
            "count": { "$first": "$_id.count" }
        }},
        { "$project": {
            "num1": 1,
            "num2": 1,
            "count": 1,
            "type": { "$cond": [ 1, [true,false],0 ] }
        }},
        { "$unwind": "$type" },
        { "$project": {
            "books": { "$cond": [
                "$type",
                "$num1",
                "$num2"
            ]},
            "count": 1
        }},
        { "$group": {
            "_id": "$_id",
            "count": { "$first": "$count" },
            "books": { "$push": "$books" }
        }},
        { "$sort": { "count": -1 } }
    ])
    

    つまり、実際には、上位2つの「住所」エントリから上位2つの「本」が表示されます。

    しかし、私のお金のために、最初のフォームにとどまり、最初の「N」要素を取るために返される配列の要素を単に「スライス」します。

    デモンストレーションコード

    デモコードは、v8.xおよびv10.xリリースのNodeJSの現在のLTSバージョンでの使用に適しています。これは主にasync/ awaitの場合です 構文ですが、一般的なフローにはそのような制限があるものは実際にはなく、プレーンな約束にほとんど変更を加えることなく、またはプレーンなコールバックの実装に戻すことさえできます。

    index.js

    const { MongoClient } = require('mongodb');
    const fs = require('mz/fs');
    
    const uri = 'mongodb://localhost:27017';
    
    const log = data => console.log(JSON.stringify(data, undefined, 2));
    
    (async function() {
    
      try {
        const client = await MongoClient.connect(uri);
    
        const db = client.db('bookDemo');
        const books = db.collection('books');
    
        let { version } = await db.command({ buildInfo: 1 });
        version = parseFloat(version.match(new RegExp(/(?:(?!-).)*/))[0]);
    
        // Clear and load books
        await books.deleteMany({});
    
        await books.insertMany(
          (await fs.readFile('books.json'))
            .toString()
            .replace(/\n$/,"")
            .split("\n")
            .map(JSON.parse)
        );
    
        if ( version >= 3.6 ) {
    
        // Non-correlated pipeline with limits
          let result = await books.aggregate([
            { "$group": {
              "_id": "$addr",
              "count": { "$sum": 1 }
            }},
            { "$sort": { "count": -1 } },
            { "$limit": 2 },
            { "$lookup": {
              "from": "books",
              "as": "books",
              "let": { "addr": "$_id" },
              "pipeline": [
                { "$match": {
                  "$expr": { "$eq": [ "$addr", "$$addr" ] }
                }},
                { "$group": {
                  "_id": "$book",
                  "count": { "$sum": 1 },
                }},
                { "$sort": { "count": -1 } },
                { "$limit": 2 }
              ]
            }}
          ]).toArray();
    
          log({ result });
        }
    
        // Serial result procesing with parallel fetch
    
        // First get top addr items
        let topaddr = await books.aggregate([
          { "$group": {
            "_id": "$addr",
            "count": { "$sum": 1 }
          }},
          { "$sort": { "count": -1 } },
          { "$limit": 2 }
        ]).toArray();
    
        // Run parallel top books for each addr
        let topbooks = await Promise.all(
          topaddr.map(({ _id: addr }) =>
            books.aggregate([
              { "$match": { addr } },
              { "$group": {
                "_id": "$book",
                "count": { "$sum": 1 }
              }},
              { "$sort": { "count": -1 } },
              { "$limit": 2 }
            ]).toArray()
          )
        );
    
        // Merge output
        topaddr = topaddr.map((d,i) => ({ ...d, books: topbooks[i] }));
        log({ topaddr });
    
        client.close();
    
      } catch(e) {
        console.error(e)
      } finally {
        process.exit()
      }
    
    })()
    

    books.json

    { "addr": "address1",  "book": "book1"  }
    { "addr": "address2",  "book": "book1"  }
    { "addr": "address1",  "book": "book5"  }
    { "addr": "address3",  "book": "book9"  }
    { "addr": "address2",  "book": "book5"  }
    { "addr": "address2",  "book": "book1"  }
    { "addr": "address1",  "book": "book1"  }
    { "addr": "address15", "book": "book1"  }
    { "addr": "address9",  "book": "book99" }
    { "addr": "address90", "book": "book33" }
    { "addr": "address4",  "book": "book3"  }
    { "addr": "address5",  "book": "book1"  }
    { "addr": "address77", "book": "book11" }
    { "addr": "address1",  "book": "book1"  }
    


    1. Redisを使用した通知およびニュースエリア

    2. 各ドキュメントに追加のフィールドを含むリアクティブなパブリケーションを作成します

    3. ストライプ:ソースまたは顧客を提供する必要があります

    4. ImportError:redisという名前のモジュールがありません