YARN-01-YARN概述

Hadoop 2.2.0 引入了HDFS Federation和YARN等重大改进,允许HDFS水平扩展并引入资源管理和作业生命周期管理的新框架。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

翻译自:http://hadoop.apache.org/docs/r2.2.0/

说明:本人水平有限,不对任何专有名词翻译,如有任何错误,麻烦帮忙指正,谢谢。

Apache Hadoop 2.2.0比前一个稳定版本(hadoop-1.x)包含了重大的改进。
下面是HDFS和MapReduce改进的概述:
HDFS Federation
为了命名服务可以水平化扩展,HDFS Federation使用多个独立的namenode/namespace。namenode是联盟的,也就是独立的、不需要彼此协作。datanode使用所有的namenode用作通用的块存储。每个datanode向集群中的所有namenode注册。datanode发送定期的心跳包和块报告,并且处理来自namenode的命令。
更多详细信息请参阅HDFS Federation文档。

下一代MapReduce,也称YARN或MRv2
早在hadoop-0.23引入了新框架,新框架把JobTracker的两个主要功能分成独立的组件,这两个主要功能分别是资源管理和作业生命周期管理。
新的ResourceManager管理着程序的计算资源的全局分配,每个程序的ApplicationMaster管理着程序的调度和协作。
一个应用在某种意义上是经典MapReduce作业中的单个作业,或者这些作业中的一个DAG(Directed Acyclic Graph,有向无环图)。
ResourceManager和在每台机器上管理着用户处理的NodeManager守护进程,形成了计算的基本结构。
每个程序的ApplicationMaster实际是一个特定的框架库,负责与ResourceManager协商资源并且与NodeManager执行、监控任务。
更多详细信息请参阅YARN文档。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值