大数据hadoop的暂时性的小总结.docx

在大数据处理领域，Hadoop 是一个关键的开源框架，它主要设计用于分布式存储和处理海量数据。本篇文章将深入探讨Hadoop的相关知识点，包括环境搭建、HDFS的基本操作以及其核心组件的工作机制。 Hadoop环境的搭建是使用Hadoop的基础。在描述中提到了一个基于CDH5.14.0的伪分布式环境搭建步骤，这通常包括解压Hadoop安装包、安装依赖库（如openssl-devel）、修改配置文件、创建数据存储目录、分发安装包和配置环境变量。例如，通过`tar`命令解压，`yum -y install`安装依赖，修改`core-site.xml`、`hdfs-site.xml`等配置文件，设置HDFS的名称节点和数据节点路径，并配置Hadoop的环境变量。安装完成后，可以通过`http://192.168.52.100:50070/dfshealth.html#tab-overview`等URL来检查Hadoop集群的状态。 Hadoop的shell命令是日常操作HDFS的主要工具。基本命令如`yarn jar`运行MapReduce作业，`hdfs dfs -mkdir -p`创建目录，`hdfs dfs -lsr`列出目录内容，`-moveFromLocal`、`-moveToLocal`、`-copyToLocal`、`-rm -rf`分别用于本地与HDFS间文件的移动、拷贝和删除。此外，`-expunge`命令用于清空回收站，而`-getmerge`则可以合并HDFS上的小文件到本地文件。 在HDFS的元数据管理方面，NameNode是关键角色，它维护着文件系统的元数据，包括文件和目录属性、文件存储位置以及DataNode的信息。元数据分为两个部分：fsimage（镜像文件）记录文件系统初始状态，而edits（编辑日志）记录所有后续的更改。SecondaryNameNode负责定期合并fsimage和edits，形成新的checkpoint，以减少NameNode重启时加载edits的时间。高可用配置下，JournalNode会同步edits，确保standby NameNode能及时获取最新状态。 HDFS的文件写入和读取过程也非常重要。写入时，客户端向NameNode申请写权限和块位置，然后按照块顺序将数据逐个写入DataNode，同时DataNode会定期向NameNode报告状态。读取时，客户端从NameNode获取文件块的位置，然后并行地从最近的DataNode读取数据，利用机架感知策略优化网络传输效率。 HDFS的安全模式是NameNode启动时的一种保护状态，限制了对文件系统的修改。`hdfs dfsadmin -safeadmin`命令可以进入、离开或检查安全模式，`-wait`选项在执行某些操作前会等待安全模式结束。 总结来说，Hadoop是一个强大的大数据处理框架，其核心组件HDFS提供了可靠的分布式存储。理解并熟练掌握Hadoop的环境搭建、shell命令以及其内部工作机制对于大数据开发者至关重要。