スーパーバイザーを通じてSparkクラスターが起動しました。抜粋:
/etc/supervisor/conf.d/spark_master.conf:
command=./sbin/start-master.sh
directory=/opt/spark-1.4.1
/etc/supervisor/conf.d/spark_worker.conf:
command=./sbin/start-slave.sh spark://spark-master:7077
directory=/opt/spark-1.4.1
監督者の課題は、これらのスクリプトがデーモンを起動および分離することです。監督者は、フォークなしでフォアグラウンドでジョブを実行したいと考えています。これまで監督者にフォークしても大丈夫だと説得したり、スパークにフォークしないように説得しようとする私の努力は成功しませんでした。より良い方法を見つけた人はいますか?ありがとうございます!
ベストアンサー1
私が推論した解決策以前のバージョンの文書:
/etc/supervisor/conf.d/spark_master.conf:
command=/opt/spark-1.4.1/bin/spark-class org.apache.spark.deploy.master.Master
directory=/opt/spark-1.4.1
/etc/supervisor/conf.d/spark_worker.conf:
command=/opt/spark-1.4.1/bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
directory=/opt/spark-1.4.1
bin/spark-class
コマンドによる実行はフォアグラウンドに残り、「スレーブ」という用語を持続しないため、追加の満足感を与えます。