开放性实验项目讲义

### 大数据计算平台Hadoop搭建与应用实践知识点 #### Hadoop简介 Hadoop是一个由Apache基金会开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System，简称HDFS），能够存储大量数据，并且能够跨多个计算节点进行数据的分布式处理。 #### 实验目的 本次实验旨在帮助学习者掌握如何在Linux环境下搭建和配置Hadoop分布式计算平台，并了解如何提交并运行MapReduce作业。实验涉及到Linux系统的操作、JDK的安装配置以及Hadoop的具体安装和配置步骤。 #### 实验环境 - 操作系统：Linux debian 3.264位。 - IP地址范围：10.118.3.x（1）-10.118.3.x（3）。 - 硬件：三个虚拟机。 - 主机名：admin。 - 安装用户：root，密码：oct1。 #### 实验步骤详述 ##### 一、安装JDK 在Linux系统中安装JDK是运行Hadoop的前提条件。在实验中需要安装JDK 1.8.0_131版本。安装过程包括检查已安装的JDK版本、下载并解压、设置环境变量等步骤。特别要注意`JAVA_HOME`的设置和`PATH`变量的更新，以确保系统能够正确地调用Java运行环境。 ##### 二、修改hostname和hosts 为了确保Hadoop集群节点间能够正确识别，需要在三个虚拟机上修改hostname，分别命名为hadoop1、hadoop2、hadoop3，并且修改`/etc/hosts`文件，添加相应的IP地址与主机名的映射关系。这个步骤是建立稳定通信的基础。 ##### 三、配置SSH无密码登陆 为了在Hadoop集群中的不同节点间实现无密码SSH通信，需要生成密钥对，并将公钥复制到其他节点的`authorized_keys`文件中。这样可以避免在执行MapReduce作业时需要手动输入密码，从而提高作业执行的自动化程度。 ##### 四、安装Hadoop 2.7.3 在安装Hadoop之前，需要先下载对应版本的Hadoop压缩包，并解压到指定目录。接着进行一系列的配置，包括设置Hadoop的环境变量，调整HDFS的存储目录等。具体的配置细节涉及到`hadoop-env.sh`文件的修改、Hadoop的根目录设置以及HDFS的配置。 ##### 实验内容和步骤 - 在三台虚拟机上安装配置分布式Hadoop计算平台。 - 在该平台上运行MapReduce作业。 #### MapReduce作业流程 MapReduce作业分为Map和Reduce两个阶段。Map阶段读取输入数据并进行处理，产生一系列的中间键值对；Reduce阶段则对这些中间结果进行合并处理，以得到最终的结果。在Hadoop平台上运行MapReduce作业需要编写相应的MapReduce程序，并通过Hadoop命令提交执行。 #### 注意事项 - 在安装和配置Hadoop之前，确保Linux系统环境清洁，避免不必要的软件干扰。 - 在配置过程中，对于每个更改都需要检查其正确性，以避免后续出现配置错误导致的问题。 - Hadoop集群搭建时，建议尽量使用相同配置的机器，以保证集群整体的稳定性和性能。 通过对以上步骤的仔细执行和验证，学习者可以成功搭建Hadoop分布式计算平台，并提交运行MapReduce作业，从而深入理解并掌握大数据计算的相关知识。