Supervisorで前景からSparkを起動

Supervisorで前景からSparkを起動

スーパーバイザーを通じてSparkクラスターが起動しました。抜粋:

/etc/supervisor/conf.d/spark_master.conf:
command=./sbin/start-master.sh
directory=/opt/spark-1.4.1

/etc/supervisor/conf.d/spark_worker.conf:
command=./sbin/start-slave.sh spark://spark-master:7077
directory=/opt/spark-1.4.1

監督者の課題は、これらのスクリプトがデーモンを起動および分離することです。監督者は、フォークなしでフォアグラウンドでジョブを実行したいと考えています。これまで監督者にフォークしても大丈夫だと説得したり、スパークにフォークしないように説得しようとする私の努力は成功しませんでした。より良い方法を見つけた人はいますか?ありがとうございます!

ベストアンサー1

私が推論した解決策以前のバージョンの文書:

/etc/supervisor/conf.d/spark_master.conf:
command=/opt/spark-1.4.1/bin/spark-class org.apache.spark.deploy.master.Master
directory=/opt/spark-1.4.1

/etc/supervisor/conf.d/spark_worker.conf:
command=/opt/spark-1.4.1/bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
directory=/opt/spark-1.4.1

bin/spark-classコマンドによる実行はフォアグラウンドに残り、「スレーブ」という用語を持続しないため、追加の満足感を与えます。

おすすめ記事