windows安装配置spark和相关的hadoop，在idea中运行不会出现INFO的红色提示

本文链接：https://blog.csdn.net/xin_sleep/article/details/115340691

这篇博客详细介绍了在Windows环境下如何配置和使用Spark。首先解压并设置SPARK_HOME环境变量，接着配置HADOOP_HOME，并将winutils.exe复制到hadoop的bin目录下。然后在CMD中验证配置，通过输入'spark-shell'检查是否成功。在IntelliJ IDEA中创建Scala项目，导入Spark库，并编写测试代码验证Spark环境。最后，修改log4j.properties文件以降低日志级别。

idea安装配置spark
将下载好的spark-1.6.0.hadoop2.6.0…解压安装在本地电脑上
windows配置环境，编辑系统变量，添加SPARK_HOME
下面的是安装路径
然后在系统path里面添加

%SPARK_HOME%\bin

%SPARK_HOME%\sbin

然后解压下载好的hadoop2.6.0，解压的时候会出现错误，要管理员的身份运行，就在电脑搜索解压软件，右击以管理员的身份运行，然后解压文件。

进入到hadoop的bin目录下面，将下载好的对应的winutils.exe复制到bin目录下。打开cmd，cd到hadoop的bin目录下，然后输入

	winutils.exe chmod -R 777 C:\tmp\hive

成功后没有提示，如果电脑的c盘里没有\tmp\hive，手动创建一个

配置hadoop环境,添加变量HADOOP_HOME
在这里插入图片描述
在系统环境变量path里添加

%HADOOP_HOME%\bin

配置完成后，在cmd里面
然后进去cmd，输入

spark-shell

出现了Spark context available as sc.和SQL context available as sqlContext.表示配置成功（一个在上面，一个在最下面，如果没有成功，重新打开一个cmd输入spark-shell）

然后进入到idea中

然后选择新建一个项目，选择这些，点击next,进去后创建点击finish，创建一个scala文件（有的话不用创建）
在这里插入图片描述
添加spark的jar包，首先点击file进入project structure

进入之后点击这个

找到刚刚下载的spark-1.6.0…的lib目录下，选中spark-assembly-1.60…，点击ok完成

完成后是这样的

完成后，点击src创建一个scala class里的object
在这里插入图片描述

然后进入电脑spark-1.6.0…里面的conf里，将log4j.properties.template复制，粘贴到随便一个文件夹里，然后修改后缀将template删除掉，变为 log4j.properties

然后双击这个文件，以记事本的方式打开，修改里面的内容，将里面的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console
在这里插入图片描述

然后保存，将这个文件复制到刚刚创建的scala文件里的src里面
在这里插入图片描述
测试代码

import org.apache.spark.{SparkConf, SparkContext}

object first {

  def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setAppName("movie").setMaster("local")
 val sc = new SparkContext(conf)
     val slices = if (args.length > 0) args(0).toInt else 2
     val n = 100000 * slices
     val count = sc.parallelize(1 to n, slices).map { i =>
       val x = i * 2 - 1
       val y = i * 2 - 1
       if (x * x + y * y < 1) 1 else 0
     }.reduce(_ + _)
     println("pi is roughly " + 4.0 * count / n)
 sc.stop()
}
}