【中阶】【python网络编程技术初阶，中阶，高阶课程】端到端测试实战：pytest-asyncio + Testcontainers 打造可重复的网络 E2E 环境

精通代码大仙

于 2025-08-15 11:01:22 发布

阅读量296

点赞数 7

CC 4.0 BY-SA版权

文章标签： python 网络 pytest

本文链接：https://blog.csdn.net/jrckkyy/article/details/150417706

🧪 端到端测试实战：pytest-asyncio + Testcontainers 打造可重复的网络 E2E 环境

副标题：用 Python 3.12 一键起服务、一键测网络交互

摘要
端到端测试（E2E）是保障网络服务稳定性的重要环节。相比单测，E2E强调整体链路可用性，但在本地模拟数据库、队列、中间件等依赖环境配置麻烦、手动维护成本高。本文将以 Python 3.12 + pytest-asyncio + Testcontainers 实现一个 可一键启动和销毁依赖容器 的网络 E2E 测试架构，涵盖异步服务和客户端交互、性能测试、安全边界和常见坑排查，并提供可运行的工程骨架和代码。

1. 导语：痛点 & 场景

痛点：

E2E 需要依赖外部服务（数据库、缓存、API Mock…），配置易漂移
异步服务测试不好做：如何优雅启动 server 并在 pytest 生命周期内清理？
本地开发和 CI 环境如何保持一致？

场景：

微服务间 HTTP/gRPC 交互测试
数据库 CRUD 流程验证
需要真实 TCP/HTTP 通信链路

2. 知识地图

要点：

pytest-asyncio 协程测试
Testcontainers 启停与 pytest fixture 配合
异步服务（uvicorn/asyncio）生命周期
CI/CD 集成测试环境

3. 环境与工程初始化

# 创建工程目录
mkdir netlab && cd netlab
mkdir -p netlab/{common,clients,servers,protocols} tests bench scripts
touch netlab/__init__.py

# 虚拟环境
python3.12 -m venv .venv
source .venv/bin/activate

# requirements.txt
cat > requirements.txt <<'EOF'
pydantic-settings
structlog
uvicorn
fastapi
pytest
pytest-asyncio
pytest-benchmark
testcontainers[postgresql]
httpx
EOF

pip install -r requirements.txt

4. 核心实现

我们以 FastAPI 构建一个简单的异步服务 + PostgreSQL，并用 Testcontainers 在测试中启动数据库。

4.1 配置与日志

netlab/common/settings.py

from pydantic_settings import BaseSettings

class Settings(BaseSettings):
    app_host: str = "127.0.0.1"
    app_port: int = 8000
    db_url: str = "postgresql://test:test@localhost/testdb"

    class Config:
        env_prefix = "NETLAB_"

settings = Settings()

netlab/common/logging.py

import structlog

structlog.configure(
    processors=[
        structlog.processors.TimeStamper(fmt="iso"),
        structlog.processors.JSONRenderer(),
    ]
)
logger = structlog.get_logger()

4.2 服务端实现

netlab/servers/app.py

from fastapi import FastAPI
from netlab.common.logging import logger

app = FastAPI()

@app.get("/ping")
async def ping():
    logger.info("ping_called")
    return {"message": "pong"}

4.3 客户端实现

netlab/clients/http_client.py

import httpx
from netlab.common.settings import settings

async def ping_server() -> dict:
    """Call /ping endpoint."""
    async with httpx.AsyncClient(base_url=f"http://{settings.app_host}:{settings.app_port}") as client:
        resp = await client.get("/ping")
        resp.raise_for_status()
        return resp.json()

5. 测试与验证

5.1 E2E 测试 fixture

tests/conftest.py

import asyncio
import pytest
import uvicorn
from multiprocessing import Process
from testcontainers.postgres import PostgresContainer
from netlab.common.settings import settings

@pytest.fixture(scope="session")
def event_loop():
    loop = asyncio.get_event_loop_policy().new_event_loop()
    yield loop
    loop.close()

@pytest.fixture(scope="session")
def postgres_container():
    with PostgresContainer("postgres:15") as postgres:
        settings.db_url = postgres.get_connection_url()
        yield postgres

@pytest.fixture(scope="session")
def run_server():
    """Run FastAPI server in background process."""
    proc = Process(
        target=uvicorn.run,
        args=("netlab.servers.app:app",),
        kwargs={"host": settings.app_host, "port": settings.app_port, "log_level": "info"},
        daemon=True,
    )
    proc.start()
    yield
    proc.terminate()

5.2 E2E 测试用例

tests/test_e2e.py

import pytest
from netlab.clients.http_client import ping_server

@pytest.mark.asyncio
async def test_ping_endpoint(postgres_container, run_server):
    result = await ping_server()
    assert result["message"] == "pong"

运行：

pytest -q --disable-warnings

示例日志输出（structlog JSON 格式）：

{"event": "ping_called", "timestamp": "2024-06-20T10:00:00Z"}

6. 性能与调优

bench/bench_ping.py

import asyncio
import time
from netlab.clients.http_client import ping_server

async def main():
    N = 100
    start = time.perf_counter()
    for _ in range(N):
        await ping_server()
    elapsed = time.perf_counter() - start
    print(f"{N} requests in {elapsed:.2f}s ({N/elapsed:.2f} rps)")

if __name__ == "__main__":
    asyncio.run(main())

假设结果：

N	Time(s)	RPS
100	1.01	99.0

调优建议：

连接池化 httpx.AsyncClient
启动 uvicorn 多 worker（gunicorn+uvicorn workers）

7. 安全与边界

超时控制：httpx.AsyncClient(timeout=5.0)
重试机制：backoff 库集成
限流：FastAPI + rate limit 中间件
异常兜底：

from fastapi.responses import JSONResponse
from fastapi.requests import Request

@app.exception_handler(Exception)
async def global_exception_handler(request: Request, exc: Exception):
    return JSONResponse(
        status_code=500,
        content={"error": str(exc), "code": "INTERNAL_ERROR"}
    )