助力工业物联网，工业大数据之服务域：AirFlow的介绍【三十一】_airflow大数据

最新推荐文章于 2025-07-14 13:07:40 发布

2401_85013810

最新推荐文章于 2025-07-14 13:07:40 发布

阅读量637

点赞数 13

CC 4.0 BY-SA版权

分类专栏：程序员文章标签：物联网嵌入式硬件学习

本文链接：https://blog.csdn.net/2401_85013810/article/details/138880603

程序员专栏收录该内容

19 篇文章

订阅专栏

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。

如果你需要这些资料，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

		</workflow>
		
		```
		
			+ 现在开发：Hue通过图形化界面自主编辑DAG
			+ 场景：CDH大数据平台
		* Azkaban：LinkedIn公司研发，界面友好、插件支持丰富、自主分布式，可以使用properties或者JSON开发
		
		
			+ 开发properties文件，压缩成zip压缩包
			
			 
			```
			name='appname2'
			type=command
			dependencies=appname1
			comman='sh xxxx.sh'
			
			```
			+ 上传到web界面中
			+ 场景：Apache平台
		* AirFlow：Airbnb公司研发，自主分布式、Python语言开发和交互，应用场景更加丰富
		
		
			+ 开发Python文件
			
			 
			```
			# step1：导包
			# step2：函数调用
			
			```
			+ 提交运行
			+ 场景：整个数据平台全部基于Python开发
		* DolphinScheduler：易观公司研发，国产开源产品，高可靠高扩展、简单易用

小结
- 回顾任务流调度的需求及常用工具

03：AirFlow的介绍

目标：了解AirFlow的功能特点及应用场景
路径
- step1：背景
- step2：设计
- step3：功能
- step4：特点
- step5：应用
实施

+ **起源**
	- 2014年，Airbnb创造了一套工作流调度系统：Airflow，用来替他们完成业务中复杂的ETL处理。从清洗，到拼接，只用设置好一套Airflow的流程图。
	- 2016年开源到了Apache基金会。
	- 2019年成为了Apache基金会的顶级项目：http://airflow.apache.org/。
+ **设计**：利用Python的可移植性和通用性，快速的构建的任务流调度平台
+ **功能**：基于Python实现依赖调度、定时调度
+ **特点**
	- 分布式任务调度：允许一个工作流的Task在多台worker上同时执行
	- DAG任务依赖：以有向无环图的方式构建任务依赖关系
	- Task原子性：工作流上每个task都是原子可重试的，一个工作流某个环节的task失败可自动或手动进行重试
	- 自主定制性：可以基于代码构造任何你需要调度的任务或者处理工具
		* 优点：灵活性好
		* 缺点：开发复杂
+ **应用**
	- 基于Python开发背景下的系统建议使用

小结
- 了解AirFlow的功能特点及应用场景

04：AirFlow的部署启动

目标：了解AirFlow的工具部署及管理
路径
- step1：安装部署
- step2：启动测试
- step3：关闭
实施
- 安装部署
  - 自行安装：《参考附录一》
  - 放弃安装：请将虚拟机快照恢复到《AirFlow安装完成》
- 启动测试
  - 删除记录：第二次启动再做
```
rm -f /root/airflow/airflow-*
```
  - 启动Redis：消息队列：
    - nohub非挂起redis任务，/opt/redis-4.0.9/src/redis-server
    - 加载redis配置文件，/opt/redis-4.0.9/src/redis.conf
    - output.log为存储日志文件
    - 2>&1中2代表错误日志，重定向为正确日志记录再output.log中，否则错误日志会在linux命令行打印
    - &后台
```
nohup /opt/redis-4.0.9/src/redis-server /opt/redis-4.0.9/src/redis.conf > output.log 2>&1 &
ps -ef | grep redis
```
  - 启动AirFlow
```
# 以后台进程方式，启动服务
airflow webserver -D
airflow scheduler -D
airflow celery flower -D
airflow celery worker -D
```
```
  * 测试网络端口
  * Airflow Web UI：`node1:8085`
```