azkaban安装
Azkaban介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点:
- Web用户界面
- 方便上传工作流
- 方便设置任务之间的关系
- 调度工作流
- 认证/授权(权限的工作)
- 能够杀死并重新启动工作流
- 模块化和可插拔的插件机制
- 项目工作区
- 工作流和任务的日志记录和审计
azkaban三大组件
- 关系数据库(MySQL)
- AzkabanWebServer
- AzkabanExecutorServer
AzkabanWebServer:暴露restful, 提供分发作业和调度作业的功能;
AzkabanExecutorServer:对WebServer暴露api, 提供执行作业的功能;
MySQL:数据存储, 实现web和exec之间的数据共享和部分状态的同步;
Azkaban安装
1、下载地址
http://azkaban.github.io/downloads.html
选择需要的版本,进行下载。
Azkaban Web 服务器:azkaban-web-server-3.39.0-8-gdaa627ad.tar.gz
Azkaban Excutor 执行服务器:azkaban-executor-server-3.39.0-8-gdaa627ad.tar.gz
Azkaban 初始化脚本文件:azkaban-sql-script-3.39.0-8-gdaa627ad.tar.gz
2、安装前准备
cd /app
mkdir azkaba-3.39.0
3、安装
1、分别解压web-server、executor-server
# 解压web-server:
tar -xzvf azkaban-web-server-3.39.0-8-gdaa627ad.tar.gz -C /app/azkaba-3.39.0/webServer
# 解压executor-server:
tar -xzvf azkaban-executor-server-3.39.0-8-gdaa627ad.tar.gz -C /app/azkaba-3.39.0/executorServer
# 解压sql-script:
tar -xzvf azkaban-sql-script-3.39.0-8-gdaa627ad.tar.gz -C /app/azkaba-3.39.0/sqlScript