Spark と Hadoop の間に依存関係はありますか?
そうでない場合、Hadoop なしで Spark を実行すると利用できなくなる機能はありますか?
ベストアンサー1
SparkはHadoopなしでも実行できますが、一部の機能はHadoopのコードに依存しています（例：Parquetファイルの処理）。私たちはMesosとS3でSparkを実行していますが、設定は少し難しいですが、一度設定すれば非常にうまく機能します（適切に設定するために必要なことの概要を読むことができます）。ここ）。
(編集) 注: バージョン 2.3.0 以降、Spark は Kubernetes のネイティブ サポートも追加しました。