sql >> データベース >  >> NoSQL >> MongoDB

パフォーマンステストのためにScalaを使用して1億レコードをMongoDBにロードする方法は?

    いくつかのヒント:

    1. 挿入する前にコレクションのインデックスを作成しないでください 、挿入として、オーバーヘッドであるインデックスを変更します。すべてを挿入してから、インデックスを作成します。

    2. 「保存」の代わりに、mongoDB「batchinsert」を使用します 1回の操作で多くのレコードを挿入できます。したがって、バッチごとに約5000のドキュメントを挿入します。パフォーマンスが大幅に向上します。

      ここに挿入する方法#2を参照してください。挿入するには、単一のドキュメントではなく、ドキュメントの配列が必要です。このスレッドの説明も参照してください。

      さらにベンチマークを行いたい場合-

    3. これは単なる推測です。事前定義された大きなサイズの上限付きコレクションを使用してみてください すべてのデータを保存します。インデックスのないキャップ付きコレクションは、挿入パフォーマンスが非常に優れています。



    1. Redisオブジェクトキャッシュを使用してWordPressのインストールを高速化

    2. Redisはキャッシュからデータを取得しません

    3. MongoDB C#ドライバー-バインディングのフィールドを無視する

    4. 配列内部要素によるMongoDBグループ