あ前の質問推奨しsc.applicationIdますが、ないに存在しPySpark、 にのみ存在しますscala。
yarnでは、 PySpark プロセスのアプリケーション ID () をどのように確認すればよいのでしょうか?
ベストアンサー1
Py4J RPC ゲートウェイを介して Java SparkContext オブジェクトを使用できます。
>>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'
これは内部変数であり、パブリック API の一部ではないことに注意してくださいsc._jsc。そのため、将来変更される可能性は (かなり小さいですが) あります。
これに対するパブリック API 呼び出しを追加するためのプル リクエストを送信します。