☰

Sparkマスターに接続しようとしたときにランダムな空きポートエラーでバインドできませんでした質問する

tag-icon • tag-icon python-3.x apache-spark amazon-ec2 pyspark
Sparkマスターに接続しようとしたときにランダムな空きポートエラーでバインドできませんでした質問する

Amazon EC2 で Spark マスターを実行しています。次のように別の EC2 インスタンスから pyspark を使用して接続しようとしました。

spark = SparkSession.builder.appName("MyApp") \
                            .master("spark_url_as_obtained_in_web_ui") \
                            .getOrCreate()

エラーは次の通りです:

ログ レベルを調整するには、sc.setLogLevel(newLevel) を使用します。SparkR の場合は、setLogLevel(newLevel) を使用します。

2018-04-04 20:03:04 警告 ユーティリティ:66 - サービス「sparkDriver」はランダムな空きポートにバインドできませんでした。適切なバインド アドレスが設定されているかどうかを確認してください。

............

java.net.BindException: 要求されたアドレスを割り当てることができません: サービス 'sparkDriver' は 16 回の再試行 (ランダムな空きポートで) 後に失敗しました。サービス 'sparkDriver' の適切なバインディング アドレス (たとえば、SparkDriver の場合は spark.driver.bindAddress) を正しいバインディング アドレスに明示的に設定することを検討してください。

ここで説明されているすべての解決策を試しましたが、効果はありませんでした。

  1. リモート Spark マスターへの接続 - Java / Scala

  2. すべてのマスターが応答しません！？Sparkマスターはデータスタックスアーキテクチャで応答しません

  3. Spark スタンドアロン クラスター - スレーブがマスターに接続しない

  4. Spark マスターマシン:7077 に到達できません

  5. spark submit「サービス 'Driver' はポートにバインドできませんでした」エラー

  6. https://community.hortonworks.com/questions/8257/how-can-i-resolve-it.html

何が間違っているのでしょうか??

ベストアンサー1

spark.driver.bindAddressのようにローカル IPを設定します127.0.0.1。

pyspark -c spark.driver.bindAddress=127.0.0.1

おすすめ記事