背景
在今天中午,本人快乐的干饭的时候,领导打电话过来询问oozie
是个什么样的东西,能不能有个用例?在本人的理解里面,oozie
主要是个调度工具。所以本篇为CDH
集群的oozie
的快速入门教程
环境准备
CDH
集群一套CDH
集群中集成了oozie
和hue
因为oozie
整合进hue
中界面化了,不像那种命令行提交的方式,要写很多繁杂的xml
文件,所以本文就开始揭露,如何快速入门oozie
新建一个调度任务
本文使用一个pyspark
作为调度用例:
pyspark
的代码如下,文件名为:pyspark_test.py
,已经上传至hdfs
的/oozie/
路径下了。
from pyspark.sql import SparkSession
spark = SparkSession.Builder().getOrCreate()
spark.sql("select 1 as temp").show()
spark.stop()
打开hue
的界面: