Python-Bonobo教程：深入理解服务(Service)机制-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00215/article/details/148971975

Python-Bonobo教程：深入理解服务(Service)机制

bonobo Extract Transform Load for Python 3.5+ 项目地址: https://gitcode.com/gh_mirrors/bo/bonobo

服务机制概述

在数据处理流程中，与外部系统的交互是不可避免的。Python-Bonobo框架通过服务(Service)机制优雅地解决了这个问题。服务机制的核心思想是将所有外部依赖（如文件系统、网络客户端、数据库连接等）作为服务提供给转换函数，这种设计带来了极大的灵活性和可测试性。

为什么需要服务机制

解耦：将业务逻辑与基础设施分离
可测试性：可以轻松模拟外部依赖进行单元测试
灵活性：运行时动态切换实现
配置管理：集中管理外部资源配置

默认提供的服务

Bonobo默认提供了两种开箱即用的服务：

文件系统服务(fs)：基于fs.osfs.OSFS对象，用于访问文件系统
HTTP服务(http)：基于requests.Session对象，用于网络请求

服务使用实战

基础使用示例

让我们看一个使用HTTP服务的简单例子：

from bonobo.config import use

@use('http')
def extract_data(http):
    response = http.get('https://api.example.com/data')
    yield from response.json()

@use装饰器告诉Bonobo将名为'http'的服务注入到这个转换函数中。

自定义服务实现

我们可以覆盖默认服务或定义自己的服务：

def get_services():
    import requests
    
    # 创建自定义Session对象
    http_session = requests.Session()
    http_session.headers = {'User-Agent': 'CustomAgent'}
    
    return {
        'http': http_session,
        # 可以添加其他自定义服务
    }

运行时服务切换

服务机制真正的威力在于运行时动态切换实现。下面我们实现一个带缓存的HTTP服务：

def get_services(use_cache=False):
    if use_cache:
        from requests_cache import CachedSession
        http = CachedSession('http.cache', expire_after=3600)  # 缓存1小时
    else:
        import requests
        http = requests.Session()
    
    return {'http': http}

命令行参数集成

结合命令行参数，我们可以动态控制是否使用缓存：

if __name__ == '__main__':
    parser = bonobo.get_argument_parser()
    parser.add_argument('--use-cache', action='store_true', 
                      help='Enable HTTP request caching')
    
    with bonobo.parse_args(parser) as options:
        bonobo.run(
            create_graph(),
            services=get_services(options.get('use_cache'))
        )