spark问题之java.net.NoRouteToHostException:没有找到主机的路由

sonia_liss

于 2019-07-10 15:08:15 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： bigdata 文章标签： spark hadoop

本文链接：https://blog.csdn.net/sonia_liss/article/details/95336481

在搭建好的Spark集群中，提交job时遇到`java.net.NoRouteToHostException: 没有找到主机的路由`的错误。问题起因包括：Spark集群配置错误、端口未开放或主机名映射不正确。解决方法涉及检查Master的9000端口、Hadoop的50070和YARN的8000端口是否对外开放，尤其是确认端口配置是否绑定到127.0.0.1，以及核实所有节点的IP和主机名映射是否准确。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

起因：

1、按照步骤搭建完成spark集群；
2、在所有的机器上jps，查看任务进程，都存在；
3、在任意一台上提交job测试；

现象：

出现报错：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.1.123:9000 failed on local exception: java.net.NoRouteToHostException: 没有到主机的路由
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1150)
at org.apache.hadoop.ipc.Client.call(Client.java:1118)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at com.sun.proxy.$Proxy3.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:414)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:392)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:374)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:453)
at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:335)
at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:300)
at org.apache.hadoop.hdfs.server.datanode.DataNo