Ambari GUI では Spark サービスを開始できません。したがって、次のようにコマンドラインから起動しようとしています。
[spark@mas01 spark2]$ ./sbin/start-thriftserver.sh --master yarn-client --executor-memory 512m --hiveconf hive.server2.thrift.port=10015
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
ただし、ログで次のエラーが発生します。
警告：Masteryarn-clientは2.0以降廃止されました。代わりに、指定された展開モードでマスター「糸」を使用してください。
文法に何が問題なのか教えてください。
[spark@mas01 spark2]$ more /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/2.6.0.3-8/spark2/conf/:/usr/hdp/2.6.0.3-8/spark2/jars/*:/usr/hdp/current/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --master yarn-client --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-memory 512m spark-internal -- hiveconf hive.server2.thrift.port=10015
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.
ベストアンサー1
yarn-clientSpark 2.0.0以前はorを使用できましたが、yarn-cluster現在は廃止されました。廃止予定のデフォルト URL を使用すると、上記の警告が表示されます。
これで唯一の正しいデフォルトURLはYesyarnです./bin/spark-submit --master yarn ...。その後、--deploy-modeSpark client（デフォルト）またはSparkモードclusterから選択できます。