hadoop: 0 リデューサーとアイデンティティ リデューサーの違いは? 質問する

hadoop: 0 リデューサーとアイデンティティ リデューサーの違いは? 質問する

私は 0 リデューサーとアイデンティティ リデューサーの違いについての理解を確認しようとしているだけです。

  • 0のリデューサーは、リデュースステップがスキップされ、マッパーの出力が最終出力になることを意味します。
  • アイデンティティ リデューサーは、シャッフル/ソートがまだ行われることを意味しますか?

ベストアンサー1

あなたの理解は正しいです。私は次のように定義します。マップ結果のソートが必要ない場合は、0 を Reduced に設定し、ジョブは Map Only と呼ばれます。
マッピング結果をソートする必要があるが、集約は必要ない場合は、Identity Reducer を選択します。
そして、図を完成させるために 3 番目のケースがあります。集約が必要で、この場合は Reducer が必要です。

おすすめ記事