spark本地测试报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio

最新推荐文章于 2025-05-22 09:52:18 发布

原创最新推荐文章于 2025-05-22 09:52:18 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

一些错误同时被 2 个专栏收录

19 篇文章

订阅专栏

Spark

11 篇文章

订阅专栏

本文介绍了在Spark Maven项目中遇到的错误：'Error: AJNI error has occurred, please check your installation and try again'. 解决方案是移除<dependency>标签中的<scope>provided</scope>，确保Spark SQL依赖在本地测试时被正确加载，只需刷新IDEA依赖并重新编译即可.

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark maven项目本地测试报错：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

原因是我在pom文件里引入的sparksql依赖加了<scope>provided</scope>标签，导致在执行时忽略了这个依赖。需要注释掉：

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>2.4.8</version>
      <!--<version>${spark.version}</version>-->
      <!--<scope>provided</scope>-->
    </dependency>

然后在idea中刷新maven的依赖保证生效即可。

scope的参数如下：

compile

默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布

provided

跟compile相似，但是表明了dependency 由JDK或者容器提供，例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时，同时没有传递性。

runtime

表示dependency不作用在编译时，但会作用在运行和测试时，如JDBC驱动，适用运行和测试阶段。 test表示dependency作用在测试时，不作用在运行时。只在测试时使用，用于编译和运行测试代码。不会随项目发布。 system跟provided 相似，但是在系统中要以外部JAR包的形式提供，maven不会在repository查找它