DAGU项目工作流控制流完全指南-CSDN博客

DAGU项目工作流控制流完全指南

前言

在现代自动化流程管理中，工作流的控制能力直接决定了系统的灵活性和可靠性。DAGU作为一个强大的工作流编排工具，提供了丰富的控制流功能，让开发者能够精确控制工作流的执行逻辑。本文将全面解析DAGU中的控制流机制，帮助您构建更加智能和健壮的工作流。

基础概念

在DAGU中，控制流主要包含以下几个核心概念：

依赖关系：定义步骤之间的执行顺序
条件执行：根据特定条件决定是否执行步骤
循环执行：重复执行某些步骤直到满足条件
异常处理：控制步骤失败时的流程行为

依赖关系详解

基本依赖

最简单的依赖关系是线性依赖，即一个步骤必须在另一个步骤完成后才能执行：

steps:
  - name: 下载数据
    command: wget https://example.com/data.zip
    
  - name: 解压数据
    command: unzip data.zip
    depends: 下载数据

多依赖关系

一个步骤可以依赖多个前置步骤：

steps:
  - name: 下载A
    command: wget https://example.com/a.zip
    
  - name: 下载B
    command: wget https://example.com/b.zip
    
  - name: 合并处理
    command: ./merge.sh a.zip b.zip
    depends:
      - 下载A
      - 下载B

复杂依赖图

DAGU支持构建任意复杂的依赖关系图：

steps:
  - name: 环境准备
    command: ./setup.sh
    
  - name: 单元测试
    command: ./test-unit.sh
    depends: 环境准备
    
  - name: 集成测试
    command: ./test-integration.sh
    depends: 环境准备
    
  - name: 构建
    command: ./build.sh
    depends:
      - 单元测试
      - 集成测试
      
  - name: 部署
    command: ./deploy.sh
    depends: 构建

条件执行机制

环境变量条件

steps:
  - name: 生产环境部署
    command: ./deploy-prod.sh
    preconditions:
      - condition: "${ENVIRONMENT}"
        expected: "production"

命令输出条件

steps:
  - name: 主分支检查
    command: ./deploy.sh
    preconditions:
      - condition: "`git branch --show-current`"
        expected: "main"

正则表达式匹配

steps:
  - name: 工作日任务
    command: ./batch-job.sh
    preconditions:
      - condition: "`date +%u`"
        expected: "re:[1-5]"  # 匹配周一到周五

多条件组合

所有条件必须同时满足：

steps:
  - name: 条件部署
    command: ./deploy.sh
    preconditions:
      - condition: "${ENVIRONMENT}"
        expected: "production"
      - condition: "${APPROVED}"
        expected: "true"
      - condition: "`date +%H`"
        expected: "re:0[8-9]|1[0-7]"  # 8点到17点

文件系统检查

steps:
  - name: 数据处理
    command: ./process.sh
    preconditions:
      - condition: "test -f /data/input.csv"
      - condition: "test -d /output"

循环执行策略

条件循环

steps:
  - name: 等待文件
    command: test -f /tmp/ready.flag
    repeatPolicy:
      repeat: true
      exitCode: [1]      # 当返回码为1时继续循环
      intervalSec: 10    # 每次间隔10秒

无限循环

steps:
  - name: 监控任务
    command: ./check-metrics.sh
    repeatPolicy:
      repeat: true
      intervalSec: 60  # 每分钟执行一次

有限次循环

steps:
  - name: 有限轮询
    command: ./check-status.sh
    repeatPolicy:
      repeat: true
      limit: 10        # 最多执行10次
      intervalSec: 30  # 每30秒一次

异常处理机制

忽略失败继续执行

steps:
  - name: 可选清理
    command: ./cleanup.sh
    continueOn:
      failure: true
      
  - name: 主处理流程
    command: ./process.sh

特定退出码处理

steps:
  - name: 检查任务
    command: ./check.sh
    continueOn:
      exitCode: [0, 1, 2]  # 在这些退出码时继续
      
  - name: 处理任务
    command: ./process.sh

输出匹配处理

steps:
  - name: 验证任务
    command: ./validate.sh
    continueOn:
      output: ["WARNING", "SKIP"]
      
  - name: 处理任务
    command: ./process.sh

标记为成功

steps:
  - name: 尽力而为任务
    command: ./optional-task.sh
    continueOn:
      failure: true
      markSuccess: true  # 即使失败也标记为成功

工作流级控制

全局前置条件

preconditions:
  - condition: "`date +%u`"
    expected: "re:[1-5]"  # 仅工作日执行

steps:
  - name: 日常任务
    command: ./daily-job.sh

成功跳过机制

schedule: "0 * * * *"  # 每小时执行
skipIfSuccessful: true  # 如果今天已经成功执行过则跳过

steps:
  - name: 每小时同步
    command: ./sync.sh

高级模式

条件分支

params:
  - ACTION: "deploy"

steps:
  - name: 构建
    command: ./build.sh
    preconditions:
      - condition: "${ACTION}"
        expected: "re:build|deploy"
        
  - name: 测试
    command: ./test.sh
    preconditions:
      - condition: "${ACTION}"
        expected: "re:test|deploy"
    
  - name: 部署
    command: ./deploy.sh
    preconditions:
      - condition: "${ACTION}"
        expected: "deploy"