sql >> データベース >  >> NoSQL >> MongoDB

Sparkでmongodbに接続中の例外

    私は問題を見つけたと思います:mongodb-hadoopには、core / src / main / java / com / mongodb / hadoop / input/MongoInputSplit.javaのBSONエンコーダー/デコーダーインスタンスに「静的」修飾子があります。 Sparkがマルチスレッドモードで実行されている場合、すべてのスレッドは同じを使用して逆シリアル化を試みます。 エンコーダー/デコーダーインスタンス。これは、予測的に悪い結果をもたらします。

    githubのパッチこちら (アップストリームにプルリクエストを送信しました)

    Pythonから8コアのマルチスレッドSpark->mongoコレクションcount()を実行できるようになりました!



    1. シェルスクリプト-mongodサーバーが実行されていることを確認します

    2. ClusterControlとそのコンポーネントのパフォーマンスを最適化する方法

    3. クラスコンストラクターMongoStoreは、「new」(Express-NodeJs)Backendなしでは呼び出すことができません。

    4. Node.jsのMongooseを介してdot(。)を使用してクエリを実行する方法と空の配列を追加する方法