使用idea编写spark程序并提交到yarn集群例子

最新推荐文章于 2024-04-22 13:41:01 发布

光于前裕于后

最新推荐文章于 2024-04-22 13:41:01 发布

阅读量3.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据动物园 Spark 大数据基础知识文章标签： spark yarn hdp idea

本文链接：https://blog.csdn.net/Dr_Guo/article/details/88119580

大数据基础知识同时被 3 个专栏收录

28 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据动物园

95 篇文章

订阅专栏

Spark

27 篇文章

订阅专栏

需提前安装jdk、scala

1.创建新项目
在这里插入图片描述

2.增加Maven
在这里插入图片描述

3.修改pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org

了解本专栏