私の理解は正しいでしょうか?
アプリケーション: 1 つの Spark Submit。
ジョブ: 遅延評価が発生すると、ジョブが発生します。
ステージ：シャッフルと変形タイプに関係しますが、ステージの境界がわかりにくいです。
タスク: 単位操作です。タスクごとに 1 つの変換。変換ごとに 1 つのタスク。
ヘルプはこの理解を深めたいと考えていました。
ベストアンサー1
主な機能はアプリケーションです。
RDD でアクションを呼び出すと、「ジョブ」が作成されます。ジョブは Spark に送信される作業です。
ジョブは、シャッフル境界に基づいて「ステージ」に分割されます。
各ステージは、RDD 内のパーティションの数に基づいてさらにタスクに分割されます。つまり、タスクは Spark の最小の作業単位です。