ローカル マシン上の Kafka メッセージ トピックに大きすぎるメッセージをプッシュしたところ、次のエラーが発生しています。
kafka.common.InvalidMessageSizeException: invalid message size
fetch.size実際にはそれほど大きなメッセージを受け入れたくないので、ここでを増やすのは理想的ではありません。
ベストアンサー1
トピックの保持時間を一時的に 1 秒に更新します。
kafka-topics.sh \
--zookeeper <zkhost>:2181 \
--alter \
--topic <topic name> \
--config retention.ms=1000
そして、新しいKafkaリリースでは、次のようにもできます。kafka-configs --entity-type topics
kafka-configs.sh \
--zookeeper <zkhost>:2181 \
--entity-type topics \
--alter \
--entity-name <topic name> \
--add-config retention.ms=1000
その後、パージが有効になるまで待ちます (期間はトピックのサイズによって異なります)。パージしたら、以前のretention.ms値を復元します。