「サーバーに接続できません」のため、「hdfs dfsadmin -report」コマンドは失敗します。

「サーバーに接続できません」のため、「hdfs dfsadmin -report」コマンドは失敗します。

オープンソースのHadoopのマルチノードクラスタを構成しようとしています。ネームノードとデータノードにHadoop 3.0をインストールしました。どちらもLinux(SUSEとUbuntu)を実行します。 CentOS、RedHat、Fedoraも同様です。

.xmlファイルの他の設定(別のポート番号など)を試しました。デフォルトでは、すべての構成で同じエラーが発生します。名前ノードを再フォーマットし、サーバーを再起動するhdfsを試しました。

sudo -i hdfs namenode format

サーバー間の接続をブロックするファイアウォールはありません。 hadoopが書き込むネームノード(/fs/hadoop/tmp/)のディレクトリに関連付けられている所有者とグループがhduserとhadoopであることを確認しました。また、誰もが書くことができます(所有者、グループ、ユーザーの両方を使用すると「w」が表示されますls -l)。

start-dfs.sh および start-yarn.sh スクリプトを使用できます。うまくいくようです。

sudo jps次を返します。

2513 Jps
1667 DataNode
2468 DFSAdmin
2134 NodeManager
1849 SecondaryNameNode

このファイルでは、/usr/local/hadoop/etc/hadoop/core-site.xmlローカルホスト名、FQDN、および0.0.0.0を使用しました。 YarnとHDFSサービスを停止し、HDFSをフォーマットしました。これらのさまざまな試みは私には役に立ちませんでした。問題は、このsudo -i hdfs dfsadmin -reportコマンドが機能したいということです。しかし、これは私が実行した後に見るものです:

18/01/02 04:48:38 WARN ipc.Client: Failed to connect to server: namenodesrvr/127.0.0.1:9000: try once and fail.
java.net.ConnectException: Connection refused
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:681)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:777)
        at org.apache.hadoop.ipc.Client$Connection.access$3500(Client.java:409)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1542)
        at org.apache.hadoop.ipc.Client.call(Client.java:1373)
        at org.apache.hadoop.ipc.Client.call(Client.java:1337)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
        at com.sun.proxy.$Proxy10.getFsStats(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getStats(ClientNamenodeProtocolTranslatorPB.java:626)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398)
        at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163)
        at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155)
        at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335)
        at com.sun.proxy.$Proxy11.getStats(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.getStateByIndex(DFSClient.java:2073)
        at org.apache.hadoop.hdfs.DFSClient.getDiskStatus(DFSClient.java:2082)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getStatus(DistributedFileSystem.java:1224)
        at org.apache.hadoop.fs.FileSystem.getStatus(FileSystem.java:2350)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.report(DFSAdmin.java:476)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.run(DFSAdmin.java:1908)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:90)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.main(DFSAdmin.java:2099)
report: Call From localhost/127.0.0.1 to namenodesrvr:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

このコマンドを使用するには何を変更する必要がありますかsudo -i hdfs dfsadmin -report

ベストアンサー1

おすすめ記事