spark报警 java.io.FileNotFoundException: /root/spark/mydatavipday2.ipdb (Permission denied)

原创

于 2021-12-21 16:42:20 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java #big data

1.spark代码如下

报错代码为
val address = IpParse.evaluate(dataMapIp)
调用工具类的如下代码，new 对象的时候找不到文件
val url = “/root/spark/mydatavipday2.ipdb”
db = new City(url);

主代码

ssc.foreachRDD(rdd => {
//      对每个RDD的分区的数据进行操作，主要是建立连接，不要每条数据都建立连接
      val newrdd: Unit = rdd.foreachPartition(it => {
//      根据RedisUtil工具类获取redis客户端
        val client: JedisCluster = RedisClusterUtil.getJedis

        //val start = System.currentTimeMillis
        println("程序正在运行。。。")
        val client_md: Jedis = RedisUtil.getJedisClient
        // 建立mysql的连接
        val conn: Connection = MysqlUtil.getConnection

        it.foreach(line => {
                      //将省市县解析后添加的dataMap里面
              println("dataMapIp",dataMapIp)
              if(dataMapIp != "null" && dataMapIp != ""){
                val address = IpParse.evaluate(dataMapIp)
                println("address",address)
                if (address != null){