PyDoit 教程：构建Python模块导入关系图-CSDN博客

PyDoit 教程：构建Python模块导入关系图

概述

本教程将介绍如何使用Python任务管理工具PyDoit构建一个计算管道，用于生成Python包的模块导入关系图。我们将以requests包为例，展示如何通过三步流程实现这一目标：

读取每个Python模块并列出其导入项
生成表示图的dot文件
从dot文件生成PNG图像

环境准备

安装必要包

首先需要安装以下Python包：

pip install doit pygraphviz import_deps

在某些Linux系统上，可能需要先安装系统包graphviz-dev。

准备示例项目

创建一个项目目录并克隆requests项目：

mkdir projects
cd projects
git clone git@github.com:requests/requests.git
cd ..

核心概念

发现模块导入关系

使用import_deps工具可以列出模块的所有导入项：

python -m import_deps projects/requests/requests/models.py

创建Doit任务

在Doit中，任务定义在名为dodo.py的Python模块中。一个基本任务示例如下：

def task_imports():
    return {
        'actions': ['python -m import_deps projects/requests/requests/models.py > requests.models.deps'],
    }

任务创建器函数以task_开头，函数名决定任务名。最重要的元数据是actions，定义任务执行时要做什么。

任务执行

运行所有任务：

doit

增量计算

Doit的核心功能之一是增量计算。通过file_dep和targets元数据可以实现：

def task_imports():
    return {
        'file_dep': ['projects/requests/requests/models.py'],
        'targets': ['requests.models.deps'],
        'actions': ['python -m import_deps %(dependencies)s > %(targets)s'],
    }

文件更新检查规则

file_dep：使用文件内容的MD5哈希判断是否更改
targets：仅检查文件是否存在

生成Graphviz图

创建dot文件

定义一个Python函数将导入关系转换为dot格式：

def module_to_dot(source, sinks, targets):
    with open(targets[0], 'w') as f:
        f.write('digraph G {\n')
        f.write('  node [shape=box];\n')
        for sink in sinks:
            f.write(f'  "{source}" -> "{sink}";\n')
        f.write('}\n')

Python动作任务

可以直接使用Python函数作为任务动作：

def task_dot():
    return {
        'file_dep': ['requests.models.deps'],
        'targets': ['requests.models.dot'],
        'actions': [(module_to_dot, ['requests.models'], ['%(targets)s'])],
    }

生成图像

添加任务从dot文件生成图像：

def task_draw():
    return {
        'file_dep': ['requests.models.dot'],
        'targets': ['requests.models.png'],
        'actions': ['dot -Tpng %(dependencies)s -o %(targets)s'],
    }

Doit命令行工具

常用命令

doit list：列出所有任务
doit info <task>：查看任务详细信息
doit clean：清理任务生成的文件
doit forget <task>：忘记任务状态，强制重新执行

任务执行控制

执行特定任务：doit <task1> <task2>
任务会自动执行其依赖项

高级用法

无文件管道

可以使用Python函数直接传递数据，而不生成中间文件：

def task_imports():
    return {
        'file_dep': ['projects/requests/requests/models.py'],
        'actions': [(get_imports, ['%(dependencies)s'])],
    }

使用getargs参数

getargs可以从其他任务结果中提取值：

def task_dot():
    return {
        'getargs': {'sinks': ('imports', 'imports')},
        'actions': [(module_to_dot, ['requests.models'], ['%(targets)s'])],
    }

任务组

处理包中所有模块的任务组示例：

def task_imports():
    for module_path in find_python_modules('projects/requests/requests'):
        yield {
            'name': module_path.replace('/', '.'),
            'file_dep': [module_path],
            'actions': [(get_imports, [module_path])],
        }