本文介绍了一种基于Yarn的优雅关闭机制实现方法，通过监听外部文件系统来判断是否需要进行优雅关闭，避免了Oozie等工具的不优雅关闭问题。文章详细描述了代码实现过程，包括使用Spark Streaming Context (ssc) 的awaitTerminationOrTimeout方法和检查HDFS中特定路径下是否存在停止标志文件。
前提：
Yarn的Kill和发送信号，Oozie，不是优雅关闭，CDH的关闭是优雅关闭，现在打算弃用CDH，所以基于代码实现监听外部文件系统实现优雅关闭。
一、
1.实现代码
val hdfsStopPath :String = args(1)
var stopFlag = false
while (!stopFlag) {
//每分钟检测一次
//println("当前检测时间" + new Date())
ssc.awaitTerminationOrTimeout(60000)
val fs = FileSystem.get(sc.hadoopConfiguration)
//正在运行且存在停止程序文件标志，并删除标志文件表明接收删除命令
if (!stopFlag && fs.exists(new Path(hdfsStopPath))) {
stopFlag = true
fs.delete(new Path(hdfsStopPath), true)
println(new Date()+": app is stopGracefully......")
ssc.stop(true, true)
}
}
2.创建文件
hdfs dfs -mkdir /user/sparkGraceStop/xxxMain
扫一扫
6775
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
