一零一零、java.net.URISyntaxException: Relative path in absolute URI: file:E:/testspark/spark-warehouse

最新推荐文章于 2022-11-08 00:11:23 发布

托马斯-酷涛

最新推荐文章于 2022-11-08 00:11:23 发布

阅读量782

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # spark 错误集锦文章标签： spark scala

本文链接：https://blog.csdn.net/m0_54925305/article/details/125359665

错误集锦同时被 2 个专栏收录

47 篇文章

订阅专栏

spark

29 篇文章

订阅专栏

在Spark2.x版本中，若本地缺少`spark.sql.warehouse.dir`配置，程序会尝试查找默认路径，导致运行异常。解决方案是在创建SparkSession时指定仓库目录，如设置为`E:/spark/GPSline/spark-warehouse`。更新代码后，程序能正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错

Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/testspark/spark-warehouse
	at java.net.URI.checkPath(URI.java:1822)
	at java.net.URI.<init>(URI.java:745)
	at org.apache.hadoop.fs.Path.initialize(Path.java:203)
	... 17 more

在Spark2.X版本中，事实上我的本地并没有这个文件夹，所以就需要添加一个配置spark.sql.warehouse.dir，如果不添加上该配置，默认是找的是user.dir下面的目录。

在Spark3.X版本不存在此种情况

解决：

原代码：

val spark: SparkSession = SparkSession.builder().appName("spark_sql").master("local[6]").getOrCreate()

现代码：

val spark: SparkSession = SparkSession.builder().appName("spark_sql").master("local[6]").config("spark.sql.warehouse.dir", "E:/spark/GPSline/spark-warehouse").getOrCreate()

效果：