Hadoopd的架构模型介绍和六个配置文件

本文介绍了Hadoop的1.x和2.x架构模型，包括HDFS和MapReduce在不同版本的变化。同时，详细探讨了Hadoop的高可用特性，特别是NameNode和ResourceManager的高可用设置。此外，还重点解析了Hadoop的六个核心配置文件及其在系统中的作用，帮助读者理解如何检查和配置Linux磁盘路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop1.x的架构模型：

hdfs部分：

namenode：集群当中的主节点，主要用于维护集群当中的元数据信息，以及接受用户的请求

secondarynamenode：主要是辅助namenode管理元数据信息的

datanode：集群当中的节点，主要用于储存数据



文件系统：存放的数据，都能够找得到

元数据：时间简史这本书   

图书管理系统：输入时间简史  书本的分类  楼层 书架的编号   书架的编号  书架的哪一排，哪一格里面


描述数据的数据，称为元数据信息

mapReduce分布式文件系统：

jobTracker：接受用户请求，分配任务给tasktracker去执行

tasktracker：从节点，执行jobtracker分配的任务

hadoop的2.X架构模型 :

HDFS文件储存系统：

 namenode：集群当中的主节点，主要用于维护集群当中的元数据信息，以及接受用户的请求

 secondarynamenode：主要是辅助namenode管理元数据信息的

 datanode：集群当中的节点，主要用于储存数据

yarn资源调度系统：

 resourceManager：yarn资源调度系统的主节点，接收接收用户请求，分配资源

 nodeManager：从节点，主要处理计算任务

namenode高可用：

namenode：active状态：出于活跃的主节点，处理用户请求，维护元数据信息

namenode standby状态：出于备份的节点，活跃的主节点死了之后，备份的节点马上变为活跃节点，对外提供服务。

如果namenode高可用，一定要保证NameNode的元数据同步一致，否则可能出现“脑裂”。

journalNode：为了解决数据共享的问题，引入journalNode的机制，专门用