fly2749 2023-10-08 17:55 采纳率: 50%
浏览 6

基于Hudi框架的Spark数据导入报错?

基于Hudi框架的Spark数据导入报错，在Hadoop开启服务后，出现如下错误：

img

根据查找原因，在hadoop的hdfs-site.xml文件下加入了如下配置，

img

首先修改了该参数后仍然显示图一的错误，关于dfs.replication之前设置的是1，后改为3后仍然是同样的错误，先贴上来请教下该问题，感谢

另：服务都已重启

  • 写回答

1条回答 默认 最新

  • AllenGd 大数据领域优质创作者 2023-10-09 10:47
    关注

    你在你的spark代码中加上代码：
    java代码中添加

    conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
    conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");

    评论

报告相同问题？

问题事件

  • 创建了问题 10月8日