sql >> データベース >  >> NoSQL >> MongoDB

InsertManyを使用すると、CosmosDbのリクエスト率が高くなります

    Mongoドライバーは、どのレコードにエラーが発生し、どのレコードがまったく処理されなかったかを通知します。すべてのエラー(通常は1つ)のコードが16500の場合、問題はスロットリングとエラーの再試行であり、残りのレコードは安全です。それ以外の場合、エラーの原因は他にあるため、分析を行って再試行を続行するかどうかを決定する必要があります。

    Mongoドライバーは、Cosmos DBが再試行前の遅延を提案するHTTPヘッダーを返しませんが、それは大したことではありません。同じデータベースにヒットする他のリクエストがRUを使い果たす可能性があるため、遅延はとにかく成功を保証するものではありません。独自の再試行ルールを実験して決定することをお勧めします。以下は、すべてがうまくいくか、再試行の制限に達するまで再試行を続ける単純な再帰的ソリューションです。

        private async Task InsertManyWithRetry(IMongoCollection<BsonDocument> collection, 
            IEnumerable<BsonDocument> batch, int retries = 10, int delay = 300)
        {
            var batchArray = batch.ToArray();
    
            try
            {
                await collection.InsertManyAsync(batchArray);
            }
            catch (MongoBulkWriteException<BsonDocument> e)
            {
                if (retries <= 0)
                    throw;
    
                //Check if there were any errors other than throttling.
                var realErrors = e.WriteErrors.Where(we => we.Code != 16500).ToArray();
                //Re-throw original exception for now.
                //TODO: We can make it more sophisticated by continuing with unprocessed records and collecting all errors from all retries.
                if (realErrors.Any())
                    throw;
    
                //Take all records that had errors.
                var errors = e.WriteErrors.Select(we => batchArray[we.Index]);
                //Take all unprocessed records.
                var unprocessed = e.UnprocessedRequests
                    .Where(ur => ur.ModelType == WriteModelType.InsertOne)
                    .OfType<InsertOneModel<BsonDocument>>() 
                    .Select(ur => ur.Document);
    
                var retryBatchArray = errors.Union(unprocessed).ToArray();
    
                _logger($"Retry {retryBatchArray.Length} records after {delay} ms");
    
                await Task.Delay(delay);
    
                await InsertManyWithRetry(collection, retryBatchArray, retries - 1, delay);
            }
        }
    


    1. ルートとして実行しない限り、mongodの起動は失敗します

    2. MongoDbを使用した移行の処理

    3. Redisクラスターへの接続に失敗しました

    4. mongodumpが失敗しました:不正なオプション:単一のコレクションのみをstdoutにダンプできます