在本教程中，我们将深入探讨如何在 CentOS 7 操作系统上安装和配置 Hadoop，一个广泛用于大数据处理的开源分布式文件系统。Hadoop 是基于 Java 的，它为大规模数据集提供了高效、可靠且可扩展的数据处理能力。在这个过程中，我们将涉及到安装 Java 开发工具（JDK）、配置 Hadoop 配置文件、初始化 HDFS 以及启动 Hadoop 服务等一系列步骤。
安装基础环境。由于 Hadoop 是用 Java 编写的，因此我们需要在 CentOS 7 上安装 JDK。可以通过运行以下命令来安装：
```bash
sudo yum install -y java-1.8.0-openjdk-devel
```
安装完成后，检查 Java 是否正确安装并设置环境变量：
```bash
java -version
```
接下来，下载 Hadoop 并解压到合适的目录，例如 `/usr/local`：
```bash
wget https://apache.osuosl.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
sudo tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
```
然后，创建 Hadoop 相关的目录结构，如 `/usr/local/hadoop/hadoop_data` 和 `/usr/local/hadoop/logs`，并给予适当的权限：
```bash
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo mkdir -p /usr/local/hadoop/logs
sudo chown -R $USER:$USER /usr/local/hadoop/*
```
配置 Hadoop 环境变量。编辑 `~/.bashrc` 文件，添加以下内容：
```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.x.x.x.el7.x86_64
```
使配置生效：
```bash
source ~/.bashrc
```
现在，我们需要配置 Hadoop 的核心、HDFS 和 YARN 配置文件。位于 `$HADOOP_HOME/etc/hadoop` 目录下，主要修改 `hadoop-env.sh`, `core-site.xml`, `hdfs-site.xml`, `yarn-site.xml` 和 `mapred-site.xml`。这些配置包括但不限于：
- `hadoop-env.sh`: 设置 HADOOP_PID_DIR 和 HADOOP_OPTS。
- `core-site.xml`: 设置 HDFS 的默认存储位置和安全模式。
- `hdfs-site.xml`: 配置 NameNode 和 DataNode 的目录，副本数等。
- `yarn-site.xml`: 配置 YARN 的资源管理器和节点管理器参数。
- `mapred-site.xml`: 设置 MapReduce 运行模式（本地或集群）。
初始化 HDFS 文件系统并格式化 NameNode：
```bash
sudo -u hdfs hdfs namenode -format
```
启动 Hadoop 服务：
```bash
start-dfs.sh
start-yarn.sh
```
为了验证安装是否成功，可以打开浏览器访问 `http://localhost:50070` 和 `http://localhost:8088`，查看 NameNode 和 Resource Manager 的 Web UI。
此外，我们还需要配置 Hadoop 以支持非 root 用户运行，这通常通过修改 `sudoers` 文件实现。这一步很重要，因为通常不建议使用 root 用户执行 Hadoop 进程。
了解 Hadoop 的基本操作，如上传文件、创建目录、读取数据等，以及 MapReduce 程序的编写和运行，是成为 Hadoop 用户的关键。
通过这个全面的教程，您将能够成功地在 CentOS 7 平台上安装和配置 Hadoop，从而迈入大数据处理的世界。记住，实践是掌握 Hadoop 的最佳方式，不断尝试和学习将帮助您更好地理解和运用这个强大的工具。
