协程asyncio_Python 异步模块 asyncio 中的协程与任务

使用Python的异步编程库asyncio可以实现爬虫功能。在编写爬虫应用时，可以使用异步编程来提升性能。通过使用支持异步编程的aiohttp模块，可以发送异步请求并获取目标数据。 下面是一个示例代码，展示了如何使用asyncio和aiohttp实现一个简单的爬虫： ```python import aiohttp import asyncio async def fetch(session, url): print("发送请求：", url) async with session.get(url, verify_ssl=False) as response: text = await response.text() print("得到结果：", url, len(text)) async def main(): async with aiohttp.ClientSession() as session: url_list = [ 'https://python.org', 'https://www.baidu.com', 'https://www.pythonav.com' ] tasks = [asyncio.create_task(fetch(session, url)) for url in url_list] await asyncio.wait(tasks) if __name__ == '__main__': asyncio.run(main()) ``` 以上代码中，`fetch`函数异步发送请求并获取结果。`main`函数创建了一个`ClientSession`对象，并通过`create_task`函数创建了多个异步任务。通过调用`await asyncio.wait(tasks)`等待所有异步任务完成，实现了并发的请求。

### Python `asyncio` 模块异步编程详解 #### 什么是 `asyncio` `asyncio` 是 Python 提供的一个用于编写单线程并发代码的库[^2]。它基于事件循环机制，允许开发者通过协程的方式实现高效的 I/O 并发操作。 --- #### 基本概念 1. **协程 (Coroutine)** 协程是一种特殊的函数，可以通过 `await` 关键字暂停其执行，并等待另一个协程完成后再继续运行[^1]。 2. **事件循环 (Event Loop)** 事件循环是 `asyncio` 的核心组件，负责调度和管理协程的执行顺序[^2]。 3. **Future 和 Task** - Future 表示一个可能还未完成的操作的结果。 - Task 是一种特殊类型的 Future，用来封装协程对象并将其加入到事件循环中进行调度[^4]。 --- #### 使用方法与常见功能 ##### 1. 执行简单的异步任务 下面是一个基本的例子，展示如何定义和运行一个协程： ```python import asyncio async def say_hello(): await asyncio.sleep(1) # 模拟耗时操作 print("Hello, world!") async def main(): await say_hello() asyncio.run(main()) ``` 此代码定义了一个名为 `say_hello` 的协程，在其中模拟了一秒钟的延迟后打印消息[^4]。 --- ##### 2. 同时执行多个异步任务 可以使用 `asyncio.gather()` 方法来并发执行多个协程，并收集它们的结果： ```python import asyncio async def compute_square(x): await asyncio.sleep(1) # 模拟计算过程中的I/O阻塞 return x * x async def main(): tasks = [compute_square(i) for i in range(5)] results = await asyncio.gather(*tasks) print(results) asyncio.run(main()) ``` 这段代码会并发地计算从 0 到 4 的平方值，并最终输出结果列表 `[0, 1, 4, 9, 16]`[^4]。 --- ##### 3. 设置任务超时时间 如果某个任务长时间未完成，可以为其设置超时限制。当超过指定的时间后抛出异常： ```python import asyncio async def long_running_task(): await asyncio.sleep(5) return "Task completed" async def main(): try: result = await asyncio.wait_for(long_running_task(), timeout=3) except asyncio.TimeoutError: print("Task timed out") else: print(result) asyncio.run(main()) ``` 在此例子中，由于任务需要 5 秒才能完成，而我们只给了 3 秒的超时时间，因此会触发 `TimeoutError`[^4]。 --- ##### 4. 实现周期性任务 有时我们需要定期重复某些操作，比如轮询服务器状态或者监控资源变化： ```python import asyncio async def periodic_task(interval): while True: print(f"Executing task every {interval} seconds...") await asyncio.sleep(interval) async def main(): task = asyncio.create_task(periodic_task(2)) await asyncio.sleep(10) # 运行一段时间后取消任务 task.cancel() try: await task except asyncio.CancelledError: print("Periodic task has been cancelled") asyncio.run(main()) ``` 该脚本每两秒执行一次任务，持续十秒之后停止[^4]。 --- ##### 5. 替代默认事件循环（UVLoop） 为了提高性能，特别是对于高负载的应用场景，可以选择安装第三方扩展库 UVLoop 来替换标准的事件循环实现： ```python pip install uvloop import asyncio import uvloop asyncio.set_event_loop_policy(uvloop.EventLoopPolicy()) async def test_uvloop(): await asyncio.sleep(1) print("Using UVLoop as the event loop policy.") asyncio.run(test_uvloop()) ``` UVLoop 能够显著减少 CPU 开销以及内存占用率，从而优化整体应用表现[^5]。 --- ### 总结 `asyncio` 不仅提供了强大的工具支持异步编程模型下的各种需求，还具备良好的兼容性和灵活性。无论是基础的数据抓取还是复杂的分布式系统构建都可以借助这一模块轻松达成目标。 ---