常用的Spark脚本

原创

已于 2022-02-17 19:43:46 修改 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark

于 2021-03-23 17:18:30 首次发布

这篇博客汇总了常用的Spark脚本操作，包括数据写入ES、集合判断、文件名作为分区字段以及写入MySQL。同时，还涉及了如何判断经纬度点是否位于特定区域内，是日常Spark操作的实用参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

日常用到的spark脚本，便于日常粘贴

写ES

val options = Map(
"es.index.auto.create" -> "true",
"es.nodes.wan.only" -> "true",
"es.nodes" -> "192.168.3.1",
"es.port" -> "9200",
"es.net.http.auth.user" -> "xx",
"es.net.http.auth.pass" -> "xx",
"es.mapping.id" -> "id")
import org.apache.spark.sql.SaveMode