Kafka でデータモデリング? トピックとパーティション 質問する

Kafka 用にデータを構造化する場合、それは実際にそのデータがどのように消費されるかによって異なります。

私の考えでは、トピックとは、同じタイプのコンシューマーによって消費される類似のタイプのメッセージのグループです。そのため、上記の例では、トピックは 1 つだけになります。Kafka を介して他の種類のデータをプッシュすることにした場合は、後で新しいトピックを追加できます。

トピックは ZooKeeper に登録されます。つまり、トピックをあまり多く追加しようとすると、問題が発生する可能性があります。たとえば、ユーザーが 100 万人いて、ユーザーごとにトピックを作成することにした場合などです。

一方、パーティションはメッセージの消費を並列化する方法です。パーティション分割機能を有効にするには、ブローカー クラスター内のパーティションの合計数が、コンシューマー グループ内のコンシューマーの数と少なくとも同じである必要があります。コンシューマー グループ内のコンシューマーは、パーティション分割に従ってトピックの処理の負担をコンシューマー間で分割します。これにより、1 つのコンシューマーは、自身が「割り当てられている」パーティション内のメッセージのみに関係することになります。

パーティション分割は、プロデューサー側でパーティション キーを使用して明示的に設定するか、指定されていない場合はメッセージごとにランダムなパーティションが選択されます。