OpenLineage与Apache Airflow快速入门指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00533/article/details/148917549

OpenLineage与Apache Airflow快速入门指南

OpenLineage An Open Standard for lineage metadata collection 项目地址: https://gitcode.com/gh_mirrors/op/OpenLineage

前言

在现代数据工程领域，数据血缘（Data Lineage）已成为数据治理的核心组成部分。OpenLineage作为一个开源的数据血缘框架，通过与Apache Airflow等流行工具的集成，为数据团队提供了强大的数据追踪和元数据管理能力。本文将详细介绍如何快速搭建OpenLineage与Airflow的集成环境，并通过实际案例展示其在数据管道监控和故障排查中的应用价值。

环境准备

基础软件要求

在开始之前，请确保您的开发环境中已安装以下组件：

Docker 17.05或更高版本
Apache Airflow 2.7或更高版本（建议使用本地开发环境）

对于Airflow的本地安装，推荐使用官方提供的快速启动方式，这可以避免复杂的配置过程。

Marquez服务部署

Marquez是OpenLineage的一个参考实现，提供了数据血缘的可视化界面。以下是部署步骤：

创建专用目录并获取Marquez源代码
为避免端口冲突（Airflow和Marquez默认都使用5432端口），建议为Marquez数据库指定新端口：

./docker/up.sh --db-port 2345

启动后，通过浏览器访问http://localhost:3000可查看Marquez UI界面

Marquez UI提供三大核心功能：

跨平台依赖可视化
作业运行历史追踪
资源使用情况概览

Airflow与OpenLineage集成配置

关键配置步骤

设置传输协议：配置Airflow通过HTTP协议向Marquez发送OpenLineage事件

export AIRFLOW__OPENLINEAGE__TRANSPORT='{"type": "http", "url": "http://localhost:5000", "endpoint": "api/v1/lineage"}'

定义命名空间：为Airflow作业指定唯一标识

export AIRFLOW__OPENLINEAGE__NAMESPACE='my-team-airflow-instance'

安装必要依赖：

pip install apache-airflow-providers-openlineage apache-airflow-providers-postgres

数据库准备：在本地Postgres实例中创建专用数据库，并在Airflow中配置相应连接（使用默认IDpostgres_default）

示例DAG开发

我们将创建两个具有依赖关系的DAG，模拟真实的数据处理场景：

计数器DAG（counter.py）

@dag(
    schedule='*/1 * * * *',
    description='每分钟增加1的计数器'
)
def counter():
    PostgresOperator(
        task_id='if_not_exists',
        sql='CREATE TABLE IF NOT EXISTS counts (value INTEGER);'
    ) >> PostgresOperator(
        task_id='inc',
        sql='INSERT INTO "counts" (value) VALUES (1);'
    )

求和DAG（sum.py）

@dag(
    schedule='*/5 * * * *',
    description='每5分钟计算累计和'
)
def sum():
    PostgresOperator(
        task_id='if_not_exists',
        sql='CREATE TABLE IF NOT EXISTS sums (value INTEGER);'
    ) >> PostgresOperator(
        task_id='total',
        sql='INSERT INTO sums (value) SELECT SUM(value) FROM counts;'
    )

部署后重启Airflow服务并激活这两个DAG。

数据血缘可视化分析

在Marquez UI中（http://localhost:3000）可以：

搜索counter.inc作业，查看其血缘关系图
观察<database>.public.counts作为输出数据集
识别sum.total作为下游依赖作业

血缘图直观展示了数据从源到目标的完整流动路径。

实战故障排查

模拟一个典型的生产环境问题场景：

问题引入：修改counter DAG，将counts表的value列重命名为value_1_to_10，但未通知sum DAG维护团队
问题表现：在Marquez的DataOps视图中观察到sum DAG运行失败
根因分析：
- 检查<database>.public.counts数据集的血缘图
- 通过版本历史追踪到schema变更记录
问题修复：更新sum DAG中的SQL查询，使用新列名value_1_to_10
验证修复：在Marquez中确认DAG运行状态恢复正常