qq_32020645的博客

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

PythonOperator可以调用Python函数，由于Python基本可以调用任何类型的任务，如果实在找不到合适的Operator，将任务转为Python函数，使用PythonOperator即可。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

在实际的调度任务中，任务脚本大多分布在不同的机器上，我们可以使用SSHOperator来调用远程机器上的脚本任务。首先停止airflow webserver与scheduler,在node4节点切换到python37环境，安装ssh Connection包。注意在本地开发工具编写python配置时，需要用到SSHOperator，需要在本地对应的python环境中安装对应的provider package。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

准备如下两个shell脚本,将以下两个脚本放在$AIRFLOW_HOME/dags目录下，BashOperator默认执行脚本时，默认从/tmp/airflow**临时目录查找对应脚本，由于临时目录名称不定，这里建议执行脚本时，在“bash_command”中写上绝对路径。在“bash_command”中写执行脚本时，一定要在脚本后跟上空格，有没有参数都要跟上空格，否则会找不到对应的脚本。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

每个DAG可以有或者没有调度执行周期，如果有调度周期，我们可以在python代码DAG配置中设置“schedule_interval”参数来指定调度DAG周期，可以通过以下三种方式来设置。timedelta是使用python timedelta 设置调度周期，可以配置天、周、小时、分钟、秒、毫秒。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

如果catchup 设置为False，那么DAG将从2021-10-01 15:22:20（当前2021-10-01 15:23:21前一时刻）开始执行DAG run。在Airflow的工作计划中，一个重要的概念就是catchup（追赶），在实现DAG具体逻辑后，如果将catchup设置为True（默认就为True）,Airflow将“回填”所有过去的DAG run，如果将catchup设置为False,Airflow将从最新的DAG run时刻前一时刻开始执行 DAG run，忽略之前所有的记录。

以上表格中以第一条数据为例解释，Airflow正常调度是每天00:00:00 ，假设当天日期为2021-09-04，正常我们认为只要时间到了2021-09-04 00:00:00 就会执行，改调度时间所处于的调度周期为2021-09-04 00:00:00 ~ 2021-09-05 00:00:00 ，在Airflow中实际上是在调度周期末端触发执行，也就是说2021-09-04 00:00:00 自动触发执行时刻为 2021-09-05 00:00:00。

更多DAG task依赖关系可参照官网：http://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#task-dependencies。http://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html 查看DAG参数说明，也可以直接在开发工具点击DAG进入源码看下对应参数有哪些。

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。s。

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Airflow是基于Python的，就是Python中的一个包。安装要求Python3.6版本之上，Metadata DataBase支持PostgreSQL9.6+，MySQL5.7+，SQLLite3.15.0+。

Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。