spark入门实战windows本地测试程序

        在做Spark开发时，一般会在windows下进行Spark本地模式程序调试，在本地调试好了再打包运行在Spark集群上。因此需要在windows上进行Spark开发配置。本文将给出三种开发工具的配置：1、使用eclipse java api开发；2、使用scala IDE开发；3、使用IntelliJ IDEA 开发。

1、windows下环境

在安装开发软件之前，首先需要安装JAVA 和SCALA,并且配置好环境变量。

2、java开发spark程序

1）                     下载eclise软件，下载地址：http://www.eclipse.org/downloads/packages/eclipse-ide-java-developers/mars2  尽量下载最新的，而且自带maven的eclipse

2）                     打开eclipse软件，创建maven项目：

点 击 file ->new ->others ->maven project 点 击 next ，

 选 择maven-archetype-quickstart ，点击 next，

group id 为 com.dt.spark，artifact id 为sparkApps，

然后点击 finish。

3）                     修改JDK和pom文件

创建 maven 项目后，默认的 jdk 是 1.5 要改成我们前面安装好的 jdk1.8 。在项目上右击 build path ->configure build path 。 在弹出页面点击 Libraries，选中 jre system library 。点击 edit，在弹出框选择 workspace default jre ，然后点击 finish。然

后在点击 ok。将 pom 文件修改为如下内容，然后等待 eclipse 下载好 maven 依赖的 jar 包， 并编译工程。 编译好工程后有个错误提示， 在此错误列上， 右击选择 quick fix ，在弹出页面点击 finish 即可。

4）                     Pom文件内容（很重要）：

<projectxmlns="http://maven.apache.org/POM/4.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/maven-4.0.0.xsd">

<modelVersion>4.0.0</modelVersion>

<groupId>com.dt.spark</groupId>

<artifactId>SparkApps</artifactId>

<version>0.0.1-SNAPSHOT</version>

<packaging>jar</packaging>

<name>SparkApps</name>

<url>http://maven.apache.org&