内容提要:文章中关于JHS服务以及TLS的服务配置信息并不是以文本的形式展示的,以图片的形式展示,并不支持拷贝。我们学习这两个服务,重点在于
①理解服务的功能以及作用
②理解服务不同配置项的作用
③两个服务的优缺点比较
仅此即可,并不需要熟记配置项,只需要了解配置项的功能。
一.JobHistoryServer服务概述
缺陷:注意JobHistoryServer只存储已经完成的MapReduce应用的作业历史信息,不会存储Spark和Flink等应用程序的作业历史信息
建议开启日志聚合功能,利于统一管理和分析日志。否则每个Container的运行日志是存储在NodeManager节点本地。查看日志时候需要访问各个NodeManager节点。
二.JobHistoryServer服务配置
通过scp命令把配置文件分发给其他的节点(注:scp命令后面可以跟多个文件名 一次远程传输多个文件)(例:scp a.txt b.txt node1:`pwd` 可以实现把相对路径a.txt b.txt的文件传输到node1所在机器的同名工作路径下(文件夹需要scp -r 递归传输))
注意jobhistoryServer服务不能通过start-all.sh启动,必须手动启动 mapred --daemon start historyserver
启动完成后既可以通过19888端口访问historyserverWeb监控页面
三.TimeLine Server的概述和与JobHistoryServer的比较
注意Job History Server只对MapReduce应用程序提供服务,其他应用程序的历史信息需要分别单独提供HistoryServer才能查询和检索
如Spark的Application需要通过Spark自己提供的org.apache.spark.deploy.history.HistoryServer来解决应用历史信息
四.Timeline Server的配置
五.总结(一句话,不废话)
因此为了适用于不同的计算框架,我们配置的时候可以选择TimeLineServer,而不再选择JobHistoryServer,前者包括了后者的功能并且适用于所有的计算模型。