これは非常に複雑な質問です。まず、Debezium Dockerイメージのデフォルトのメモリ設定は非常に低いため、使用している場合は増やす必要があるかもしれません。
次に、複数の要因が関係しています。次の手順を実行することをお勧めします。
-
max.batch.size
を増やします およびmax.queue.size
-コミット数を減らします -
offset.flush.timeout.ms
を増やします -Connectに蓄積されたレコードを処理する時間を与えます -
offset.flush.interval.ms
を減らします -累積オフセットの量を減らす必要があります
残念ながら、 issueKAFKA-6551 があります。 舞台裏に潜んでいて、それでも大混乱を引き起こす可能性があります。