Hadoop集群的硬件选择、安全管理与NameNode迁移

# Hadoop集群的硬件选择、安全管理与NameNode迁移 ## 1. 集群硬件选择 当需要在集群上处理10 TB数据，且主要的MapReduce作业用于处理金融交易以生成行为统计模型和未来预测时，有以下几种硬件选择： | 选项 | 主机数量 | 处理器 | 内存 | 磁盘驱动器 | | --- | --- | --- | --- | --- | | 1 | 20台 | 快速双核处理器 | 4 GB | 1个500 GB磁盘驱动器 | | 2 | 30台 | 快速双核处理器 | 8 GB | 2个500 GB磁盘驱动器 | | 3 | 30台 | 快速四核处理器 | 8 GB | 1个1 TB磁盘驱动器 | | 4 | 40台 | 快速四核处理器 | 16 GB | 4个1 TB磁盘驱动器 | 在这种情况下，建议优先选择选项4，因为处理大量数据需要充足的内存和磁盘空间，40台主机且每台配备16 GB内存和4个1 TB磁盘驱动器，能更好地满足数据处理和存储的需求。 ## 2. 集群访问控制与安全 ### 2.1 Hadoop安全模型 过去，Hadoop的安全模型可以说是“仅标记”，它为每个文件关联一个所有者和组，但对客户端连接的验证很少。强大的安全模型不仅要管理文件标记，还要管理所有连接用户的身份。 ### 2.2 演示默认安全机制 以下是演示默认安全机制的具体步骤： 1. 在Hadoop用户的主目录中创建一个测试文本文件： ```bash $ echo "I can read this!" > security-test.txt $ hadoop fs -put security-test.txt security-test.txt ``` 2. 将文件权限更改为仅所有者可访问： ```bash $ hadoop fs -chmod 700 security-test.txt $ hadoop fs -ls ``` 3. 确认仍可以读取该文件： ```bash $ hadoop fs -cat security-test.txt ``` 输出结果为： ``` I can read this! ``` 4. 连接到集群中的另一个节点并尝试从那里读取文件： ```bash $ ssh node2 $ hadoop fs -cat security-test.txt ``` 输出结果为： ``` I can read this! ``` 5. 从另一个节点注销： ```bash $ exit ``` 6. 为另一个用户创建主目录并赋予其所有权： ```bash $ hadoop fs -mkdir /user/garry $ hadoop fs -chown garry /user/garry $ hadoop fs -ls /user ``` 7. 切换到该用户： ```bash $ su garry ``` 8. 尝试读取Hadoop用户主目录中的测试文件： ```bash $ hadoop/bin/hadoop fs -cat /user/hadoop/security-test.txt ``` 输出结果为： ``` cat: org.apache.hadoop.security.AccessControlException: Permission denied: user=garry, access=READ, inode="security-test.txt":hadoop: supergroup:rw------- ``` 9. 将文件副本放入该用户的主目录并再次设置为仅所有者可访问： ```bash $ hadoop/bin/hadoop fs -put security-test.txt security-test.txt $ hadoop/bin/hadoop fs -chmod 700 security-test.txt $ hadoop/bin/hadoop fs -ls ``` 10. 确认该用户可以访问该文件： ```bash $ hadoop/bin/hadoop fs -cat security-test.txt ``` 输出结果为： ``` I can read this! ``` 11. 返回Hadoop用户： ```bash $ exit ``` 12. 尝试读取另一个用户主目录中的文件： ```bash $ hadoop fs -cat /user/garry/security-test.txt ``` 输出结果为： ``` I can read this! ``` ### 2.3 用户身份与超级用户 Hadoop使用执行HDFS命令的用户的Unix ID作为HDFS上的用户身份。任何以特定用户名执行的命令将创建以该用户为所有者的文件，并且只能读写该用户具有正确访问权限的文件。 Hadoop将启动集群的用户ID视为超级用户，超级用户具有各种特权，例如可以读取、写入和修改HDFS上的任何文件。 ### 2.4 更精细的访问控制 早期Hadoop的安全问题是一个主要弱点，但最新版本的Hadoop支持更精细和强大的安全模型。为避免依赖简单