sql >> データベース >  >> NoSQL >> MongoDB

Spark Mongoコネクタ、MongoShardedPartitionerが機能しない

    コネクタに問題があるとのことで、ごめんなさい。

    パーティショナーに関する情報は、SparkコネクタのドキュメントサイトDocsjiraプロジェクト にチケットを提出してください 何か足りないものや不明瞭なものがあると感じた場合、それは将来のユーザーに本当に役立つ可能性があります!

    デフォルトのパーティショナーは、 MongoSamplePartitioner<の薄いラッパーです。 / code> 。コレクションの統計的サンプリングに基づいて、コレクションをサイズのパーティションに分割します。

    MongoShardedPartitioner shardKeyを使用します パーティションを生成します。デフォルトでは、 _idを使用します キーとして。その値を構成する必要があるかもしれません。

    注: ハッシュされたシャードキーはない MongoShardedPartitionerによってサポートされています 現在、ハッシュ値に対してコレクションをクエリする方法はありません。そのため、パーティションを取得するときに結果を返すことができません。 DOCS-12345 を追加しました ドキュメントを更新します。

    MongoShardedPartitionerのセットアップに問題があるようです 期待どおりにコレクションを分割できず、0の結果が返されます。コレクションのクエリ方法により、スキーマ推論は引き続き機能します。 config / hashed shardkeyの問題でない場合は、Sparkjiraプロジェクト> 原因を特定し、修正をリリースするお手伝いをします。




    1. CompositeServerSelectorを使用してサーバーを30000ms選択した後、タイムアウトが発生しました

    2. Javascriptを使用してギリシャ文字を使用してMongoDBでクエリを実行すると、結果が返されません

    3. あるパブリケーションがネストされたフィールドを別のパブリケーションから隠しています

    4. docker-compose MongoDBエラー:ホストでコマンド「isMaster」を実行しようとしたときにネットワークエラーが発生しました