分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述(不详细阐述,小服务模块)

本文介绍了JobHistoryServer和TLS服务,强调理解服务功能、配置项作用及其比较。推荐开启日志聚合,JobHistoryServer仅存MapReduce历史,而TimelineServer适用于更多框架。配置时优先考虑TimelineServer以支持不同计算模型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

     内容提要:文章中关于JHS服务以及TLS的服务配置信息并不是以文本的形式展示的,以图片的形式展示,并不支持拷贝。我们学习这两个服务,重点在于

      ①理解服务的功能以及作用

      ②理解服务不同配置项的作用

      ③两个服务的优缺点比较 

     仅此即可,并不需要熟记配置项,只需要了解配置项的功能。

一.JobHistoryServer服务概述

缺陷:注意JobHistoryServer只存储已经完成的MapReduce应用的作业历史信息,不会存储Spark和Flink等应用程序的作业历史信息

建议开启日志聚合功能,利于统一管理和分析日志。否则每个Container的运行日志是存储在NodeManager节点本地。查看日志时候需要访问各个NodeManager节点。

二.JobHistoryServer服务配置

通过scp命令把配置文件分发给其他的节点(注:scp命令后面可以跟多个文件名 一次远程传输多个文件)(例:scp a.txt b.txt node1:`pwd`   可以实现把相对路径a.txt b.txt的文件传输到node1所在机器的同名工作路径下(文件夹需要scp -r 递归传输))

注意jobhistoryServer服务不能通过start-all.sh启动,必须手动启动 mapred --daemon start historyserver

启动完成后既可以通过19888端口访问historyserverWeb监控页面

三.TimeLine Server的概述和与JobHistoryServer的比较

注意Job History Server只对MapReduce应用程序提供服务,其他应用程序的历史信息需要分别单独提供HistoryServer才能查询和检索

如Spark的Application需要通过Spark自己提供的org.apache.spark.deploy.history.HistoryServer来解决应用历史信息

四.Timeline Server的配置

五.总结(一句话,不废话)

     因此为了适用于不同的计算框架,我们配置的时候可以选择TimeLineServer,而不再选择JobHistoryServer,前者包括了后者的功能并且适用于所有的计算模型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值