大数据--分布式存储 Hadoop

一：hadoop简介

Hadoop指Apache这款开源框架，它的核心组件有：

• HDFS（分布式文件系统）：解决海量数据存储
• MAPREDUCE（分布式运算编程框架）：解决海量数据计算
• YARN（作业调度和集群资源管理的框架）：解决资源任务调度

二：hadoop架构

目前主流的hadoop框架已经迭代更新到hadoop3.x的版本了，本篇的介绍也是围绕着hadoop3.x展开的

接下来我们根据以下的结构图来了解hadoop框架中各个组成部分的作用：

HDFS集群

namenode：主节点

• 管理整个HDFS集群
• 维护和管理元数据

SecondaryNameNode：辅助节点

• 辅助namenode管理元数据

datanode：从节点

• 维护和管理元数据
• 负责数据的读写操作
• 定时向namenode报活

yarn集群

ResourceManager：主节点

• 负责任务的接受
• 负责资源的调度和分配

AppM