yy/MM/ddjava.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows

xiaojiang满眼星辰

已于 2022-04-08 21:42:38 修改

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： bug记录 spark、scala 文章标签： scala spark

于 2022-04-08 15:15:54 首次发布

本文链接：https://blog.csdn.net/qq_46864949/article/details/124040657

bug记录同时被 2 个专栏收录

10 篇文章

订阅专栏

spark、scala

3 篇文章

订阅专栏

在使用IntelliJ IDEA 2020.3.4和Spark 3.0.3进行RDD操作时，遇到本地Hadoop环境配置问题导致的UnsatisfiedLinkError。问题源于hadoop.dll文件放置不当，将其从Hadoop的bin目录中删除，并清理系统环境变量Path中的hadoop.dll，同时在IDEA的Run Configuration中设置HADOOP_HOME变量，解决了报错并能正常创建分区文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境：

idea ：IntelliJ IDEA 2020.3.4 (Ultimate Edition)
spark：spark-3.0.3
Scala：scala-2.12.10
Hadoop：hadoop-2.7.1

问题描述

在spark 创建RDD 的学习过程中，将处理的数据保存成分区文件的时候，只自动创建output2文件夹，但是里面什么都没有，而且报如下错误。

2022-04-0111:30:59, 280{yy/MM/ddjava. lang . UnsatisfiedLinkError: org . apache . hadoop. io . nativeio . NativeIO$Windows . createFiLeWithMode0(Ljava/Lang/String;JJJI)Ljava/io/FiLeDescriptor;
	at org. apache . hadoop. io.nativeio . NativeIO$Windows . createFileWi thMode0(Native Method)
	at org. apache . hadoop. io . nativeio . NativeIO$Windows . createF ile0utputstreamWithMode(NativeI0. java:559)
	at org. apache . hadoop . fs . RawLocalFileSystem$LocalFSFileOutputStream. <init> (RawLocalFileSystem. java:219)
	at org . apache . hadoop . fs . RawLocalFileSystem$LocalFSFile0utputStream. <init> (RawLocalFileSystem. iava:209)

在这里插入图片描述