DAGU项目工作流错误处理完全指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00261/article/details/148916920

DAGU项目工作流错误处理完全指南

引言

在现代自动化工作流管理中，错误处理是构建健壮系统的关键要素。DAGU作为一款高效的工作流调度工具，提供了全面的错误处理机制，帮助开发者构建具有弹性的自动化流程。本文将深入解析DAGU中的错误处理功能，包括重试策略、条件继续执行、生命周期处理器和通知机制等核心功能。

重试策略详解

基础重试配置

DAGU允许为每个步骤配置重试策略，当任务执行失败时自动进行重试：

steps:
  - name: api-request
    command: curl https://api.example.com
    retryPolicy:
      limit: 3          # 最大重试次数
      intervalSec: 5    # 每次重试间隔时间(秒)

基于特定错误码的重试

对于某些特定错误（如HTTP 429限流或503服务不可用），可以配置针对性重试：

steps:
  - name: rate-limited-api
    command: make-api-request
    retryPolicy:
      limit: 3
      intervalSec: 30
      exitCodes: [429, 503]  # 仅在这些错误码时重试

最佳实践建议：

对于网络请求类操作，建议至少配置2-3次重试
根据后端服务的SLA调整重试间隔
对于幂等操作可设置更多重试次数

条件继续执行策略

基本继续执行配置

某些情况下，我们希望即使步骤失败也能继续执行后续流程：

steps:
  - name: optional-cleanup
    command: rm -f /tmp/cache/*
    continueOn:
      failure: true  # 即使失败也继续

基于输出模式的继续执行

DAGU支持基于正则表达式匹配输出内容来决定是否继续：

steps:
  - name: validation
    command: validate-data.sh
    continueOn:
      output: "re:WARN.*|INFO.*"  # 匹配WARN或INFO开头的输出时继续

标记为成功的失败处理

对于非关键性操作，可以将失败标记为成功以保持流程继续：

steps:
  - name: non-critical
    command: optimize-cache.sh
    continueOn:
      failure: true
      markSuccess: true  # 即使失败也标记为成功

生命周期处理器

DAGU提供了强大的生命周期处理器，可以在工作流的不同状态触发特定操作。

基本处理器配置

handlerOn:
  success:
    command: notify-success.sh  # 成功时执行
    
  failure:
    command: alert-team.sh "${DAG_NAME} failed"  # 失败时执行
    
  cancel:
    command: cleanup-resources.sh  # 取消时执行
    
  exit:
    command: rm -rf /tmp/${DAG_RUN_ID}  # 总是执行(无论成功/失败)

邮件通知处理器

handlerOn:
  failure:
    executor:
      type: mail
      config:
        to: ops@company.com
        from: dagu@company.com
        subject: "紧急: ${DAG_NAME} 失败"
        message: "请检查日志: ${DAG_RUN_LOG_FILE}"

执行顺序说明：

步骤执行
状态处理器(成功/失败/取消)
退出处理器(总是执行)

邮件通知系统

全局邮件配置

smtp:
  host: "smtp.example.com"
  port: "587"
  username: "${SMTP_USER}"
  password: "${SMTP_PASS}"

mailOn:
  failure: true    # 失败时发送邮件
  success: false   # 成功时不发送

errorMail:
  from: "dagu-alerts@company.com"
  to: "oncall-team@company.com"
  prefix: "[系统告警]"
  attachLogs: true  # 附加日志文件

步骤级邮件通知

steps:
  - name: database-backup
    command: backup-db.sh
    mailOnError: true  # 此步骤失败时发送邮件
    
  - name: send-report
    executor:
      type: mail
      config:
        to: managers@company.com
        subject: "月度报告"
        attachments:
          - /reports/monthly.pdf

超时与清理机制

工作流超时控制

timeoutSec: 7200  # 整个工作流2小时超时
maxCleanUpTimeSec: 600  # 清理操作10分钟超时

优雅停止与清理

steps:
  - name: long-running-service
    command: start-service.sh
    signalOnStop: SIGTERM  # 停止时发送SIGTERM信号
    
  - name: data-processing
    command: process-data.sh
    continueOn:
      failure: true
      
  - name: post-cleanup
    command: cleanup-temp-files.sh  # 无论前面步骤是否失败都会执行