YARN异常: we cannot start a localDataXceiverServer because libhadoop cannot解决方法

最新推荐文章于 2024-08-12 16:04:13 发布
最新推荐文章于 2024-08-12 16:04:13 发布 · 1.5k 阅读 · 2
文章标签：

#大数据

本文介绍了解决Hadoop CDH5.0在部署yarn过程中出现的RuntimeException问题的方法。异常原因是缺少nativelib，解决步骤包括从Cloudera官网下载对应版本的RPM包，并参照特定教程进行解压和复制操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版本：

HadoopCDH5.0

异常描述：

部署hadoop yarn的时候报RuntimeException，信息如下：

java.lang.RuntimeException: Although a UNIX domain socket path is configured as /var/run/hadoop-hdfs/dn._PORT, we cannot start a localDataXceiverServer because libhadoop cannot be loaded.

 

问题原因：

hadoop cdh5的native lib没有，解决方式是去官方下载:

资源根路径：http://archive-primary.cloudera.com/cdh5/

RPM：hadoop-2.2.0+cdh5.0.0+1610-0.cdh5b2.p0.51.el5.x86_64.rpm

然后参考

http://snv.iteye.com/blog/2030429

解压cp即可

【Flink】Flink启动报错 BindException: Could not start rest endpoint on any port in port range 7089
九师兄
07-01 2001
1.背景 Flink界面启动报错如下 2020-05-15 13:27:47,001 INFO org.apache.flink.client.cli.CliFrontend - -------------------------------------------------------------------------------- 2020-05-15 13:27:47,007 INFO org.apache.flink.configuration..
使用idea编写spark程序并提交到yarn集群例子
光于前裕于后的博客
03-04 3825
需提前安装jdk、scala 1.创建新项目 2.增加Maven 3.修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4
部署impala后，启动hadoop时，datanode启动失败
jaaaaa_的博客
03-20 2991
由于impala的配置文件是依赖于hadoop和hive的，所以在部署impala时，会在之前配置好的hadoop配置文件的基础上再进行修改。 本次报错主要体现在 修改了hdfs-site.xml <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 配置后，启动h
hadoop CDH4.4上Impala集群安装
K_James的专栏
12-31 5315
hadoop-001     10.168.204.55  state-store, catalog, impalad hadoop-002     10.168.204.56  impalad hadoop-003     10.168.204.57  impalad hadoop-004     10.168.204.58  impalad 版本: impala 1.2
hadoop DN不能启动,报错：DataXceiver error processing WRITE_BLOCK operation
aspkhdp的博客
08-04 8158
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-yarn.cloudyhadoop.com:50010:DataXceiver error processing READ_BLOCK operation src: /192.168.1.104:52441 dst: /192.168.1.20:50010 修改数据传输
Exception in secureMain java.lang.RuntimeException: Although a UNIX domain socket path is configured
weixin_43172032的博客
06-23 1599
hdfs datanode启动失败问题描述问题排查 问题描述 新装的hdp集群，hdfs启动后，datanode马上全部死掉，查看日志报错信息如下： 2020-06-22 00:37:20,594 INFO datanode.DataNode (DataXceiverServer.java:<init>(79)) - Number threads for balancing is 50 2020-06-22 00:37:20,595 ERROR datanode.DataNode (DataN
Hadoop常见问题
red_sky_blue的专栏
11-08 1356
hadoop集群启动namenode, datanode启动报错
VS code上跑yarn start报running scripts is disabled on this system错误的解决方法
FE攻城狮
05-11 1067
今天想在vs code的命令框里运行yarn start，因为不想命令框满天飞。 结果发现报错了
eclipse连接hadoop时Cannot read the array length because 'jobs' is null
最新发布
03-28
好的，我现在需要解决用户在连接Eclipse和Hadoop时遇到的“Cannot read the array length because 'jobs' is null”错误。首先，我需要了解这个错误通常发生在什么情况下。根据经验，类似的问题可能与Hadoop配置、...
yarn3.2源码分析之YarnClient与ResourceManager通信之submitApplication
lzf的博客
04-21 1714
概述 YarnClient通过ApplicationClientProtocol与ResourceManager通信。YarnClient通过它完成向RM提交应用程序、查看应用程序状态、控制应用程序（杀死）等。在ResourceManager中，负责与YarnClient通信的组件是ClientRMService。如果是submitApplication等通信，ClientRMService再转...
CDH 安装hadoop Datanode启动失败
mthinking
04-26 1116
启动WARN 晚上11点09:05.570分 WARN NativeCodeLoader Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 晚上11点09:05.892分 WARN EventStorePublisherWithRetry Fai...
java.lang.RuntimeException: Although a UNIX domain socket path is configured as /opt/module/hadoop-2
m0_46504700的博客
03-12 549
java.lang.RuntimeException: Although a UNIX domain socket path is configured as /opt/module/hadoop-2.7.2/hdfs-sockets/dn, we cannot start a localDataXceiverServer because libhadoop cannot be loaded. 问题：Hadoop中的hdfs-socket下的du文件丢失 解决办法：重新格式化集群、其他办法待续… ...
Centos6.10安装impala集成kudu之错误
a376554764的博客
04-12 744
Centos6.10安装impala集成kudu时，修改了hdfs-site.xml文件时，加入了下面属性： <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 然后重新启动hdf...
[HDFS]FileSystem.copyToLocalFile下载文件报错Unable to load native-hadoop library for your platform...
05-25 1299
应用在服务器上启动后，从HDFS下载文件失败，报错如下： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable The short-circuit local reads feature cannot be used because libhadoop cannot be loaded. 第一句提示不能加载Hadoop的库，检查库，提示hadoop命令
【无标题】
weixin_51473488的博客
08-12 238
kerberos启动datanode报错
Spark on Yarn安装过程遇到的错误
dylanld的专栏
11-28 4058
错误1： 运行yarn clien模式时候 [main]client.RMProxy (RMProxy.java:createRMProxy(92)) - Connecting to ResourceManagerat /0.0.0.0:8032 2014-11-2615:16:35,416 INFO  [main] ipc.Client(Client.java:handleConnecti
遇见错误：启动Hadoop相关错误之——启动不了datanode
ss762349239的博客
10-08 643
遇见错误：启动Hadoop相关错误之——启动不了datanode1.配置hadoop所有环境后，尝试启动hadoop所有相关服务，利用start-all.sh进行启动，发现datanode启动不起来，如下如所示：2.找到hadoop的logs，查看datanode.log，结果如下：3.果然有fail，查找原因之后发现是namenode and datanode cluster ID不匹配，解决办法
解决启动hadoop时datanode无法启动
qq_35888719的博客
01-10 588
当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID，这样，datanode和namen...
hadoop常见报错
weixin_54051652的博客
07-05 3645
hadoop常见报错
yarn serve TypeError: Cannot read properties of undefined (reading ‘major‘)
04-23
"yarn serve"是一个命令，用于在使用Yarn作为包管理器的项目中启动本地开发...如果以上方法都没有解决问题，你可以提供更多的上下文信息，例如你的项目配置文件和相关代码片段，以便我能够更好地帮助你解决这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值