window下的hadoop所需文件

最新推荐文章于 2024-10-31 10:39:44 发布

原创最新推荐文章于 2024-10-31 10:39:44 发布 · 490 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #分布式

系统要求：

操作系统：Windows 7或更高版本。
Java环境：Java 1.8或更高版本。需要配置JAVA_HOME环境变量。
内存：至少4GB RAM。
硬盘空间：至少10GB可用空间。
Windows Subsystem for Linux (WSL)（可选）：如果希望更接近Linux环境，可以使用WSL。

安装步骤:

安装Java：
下载并安装Java SE Development Kit (JDK)。
设置JAVA_HOME环境变量，并将其加入到Path环境变量中。
下载Hadoop：
访问Hadoop官网下载适合Windows的Hadoop版本，通常为预编译的二进制包。
解压Hadoop：
将下载的Hadoop压缩包解压到指定的目录。
将下载的winutils-master选择对应的文件夹里的bin里面的文件复制到%HADOOP_HOME%\bin，冲突的文件选择覆盖。
配置环境变量：
设置HADOOP_HOME环境变量，指向Hadoop的解压目录。
将%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin加入到Path环境变量中。
配置Hadoop：
编辑%HADOOP_HOME%\etc\hadoop\core-site.xml，配置Hadoop的核心属性。
编辑%HADOOP_HOME%\etc\hadoop\hdfs-site.xml，配置HDFS的相关属性。

<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/hadoopdata/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///C:/hadoopdata/dfs/datanode</value>
  </property>
</configuration>

格式化HDFS文件系统：
打开命令提示符，运行hdfs namenode -format。
启动Hadoop服务：
运行start-dfs.cmd来启动HDFS服务。
验证安装：
在浏览器中访问http://localhost:50070，查看Hadoop的Web界面，确认NameNode是否运行正常。