Missing collection name. Set via the ‘spark.mongodb.output.uri‘ or ‘spark.mongodb.output.collection‘_missing collection name. set via the 'spark.mongod-CSDN博客

本文解决在使用Spark保存数据到MongoDB时遇到的错误：java.lang.IllegalArgumentException:Missing collection name。通过正确配置spark.mongodb.output.uri和spark.mongodb.output.collection属性，以及添加MongoSpark插件依赖，成功解决了数据写入问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用spark将数据保存到MongoDB时报错:

java.lang.IllegalArgumentException: Missing collection name. Set via the 'spark.mongodb.output.uri' or 'spark.mongodb.output.collection' property

提示需要设置spark.mongodb.output.uri或者spark.mongodb.output.collection

添加依赖:

<dependency>
      <groupId>org.mongodb.spark</groupId>
      <artifactId>mongo-spark-connector_2.11</artifactId>
      <version>2.2.3</version>
</dependency>

MongoSpark插件使用的配置是从sparksession中获得的,因此sparksession创建语句需要将conf配置加进来

SparkSession sparkSession = SparkSession.builder()
				.appName("LogAnalyse")
				.master("local")
               	.config("spark.mongodb.output.uri","mongodb://name:passwd@192.168.1.11:27017/database_name.table_name")
                .getOrCreate();

JavaSparkContext jsc = new JavaSparkContext(sparkContext);
Map<String, String> writeOverrides = new HashMap<String, String>();
writeOverrides.put("collection", "table_name");
writeOverrides.put("writeConcern.w", "majority");
WriteConfig defaultWriteConfig = WriteConfig.create(jsc).withOptions(writeOverrides);

//保存
MongoSpark.save(dataFrame.select("pd_id","sqljb"),defaultWriteConfig);