【Oozie】CDH集群的oozie手把手快速入门

本文介绍了如何在CDH集群上利用Oozie和Hue进行Pyspark任务的创建与调度。首先,通过Hue界面拖拽方式设置Spark action,并指定python脚本。接着,配置任务参数并保存,然后启动任务,观察Yarn上任务的执行情况。此外,还展示了如何设置周期调度、查看任务日志、删除任务以及查看Oozie工作流的XML配置。最后,文章提到了Oozie的一些入口位置和操作方法。

背景

在今天中午,本人快乐的干饭的时候,领导打电话过来询问oozie是个什么样的东西,能不能有个用例?在本人的理解里面,oozie主要是个调度工具。所以本篇为CDH集群的oozie的快速入门教程

环境准备

  • CDH集群一套
  • CDH集群中集成了ooziehue
    oozie和hue的组件
    因为oozie整合进hue中界面化了,不像那种命令行提交的方式,要写很多繁杂的xml文件,所以本文就开始揭露,如何快速入门oozie

新建一个调度任务

本文使用一个pyspark作为调度用例:
pyspark的代码如下,文件名为:pyspark_test.py,已经上传至hdfs/oozie/路径下了。

from pyspark.sql import SparkSession
spark = SparkSession.Builder().getOrCreate()
spark.sql("select 1 as temp").show()
spark.stop()

打开hue的界面:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值