Python多进程之apply_async异步并发编程

<think>我们正在讨论Python的multiprocessing模块中apply_async方法获取返回值的问题。用户要求一个示例，因此我们将提供一个使用apply_async并获取返回值的简单示例。注意：apply_async是异步的，它会立即返回一个AsyncResult对象，我们可以通过这个对象来获取结果（使用get()方法）。我们将展示一个简单的例子，使用Pool的apply_async来异步执行任务，然后收集返回值。重要提示：使用apply_async时，通常我们会先启动多个任务，然后再收集结果，这样它们可以并行执行。我们将创建一个进程池，然后使用apply_async提交多个任务，每个任务计算一个数的平方，然后我们使用get()获取结果。注意：get()会阻塞直到结果返回。因此，我们在提交所有任务后再获取结果，以最大化并行效果。步骤：1.导入multiprocessing模块2.创建进程池3.使用apply_async提交任务，并保存返回的AsyncResult对象4.在提交所有任务后，遍历AsyncResult对象列表，调用get()获取结果此外，我们还可以使用回调函数来处理返回结果，但用户要求获取返回值，所以我们直接使用get()。下面我们编写示例代码：</think> 在 Python 的 `multiprocessing` 模块中，`apply_async()` 用于异步执行函数并获取返回值。关键在于使用 `AsyncResult` 对象和回调函数处理结果。以下是具体实现示例： ### 基础实现 ```python import multiprocessing def worker(num): """计算平方的任务函数""" return num * num if __name__ == "__main__": pool = multiprocessing.Pool() # 创建进程池 results = [] # 提交异步任务 for i in range(5): async_result = pool.apply_async(worker, args=(i,)) results.append(async_result) pool.close() # 停止提交新任务 pool.join() # 等待所有进程完成 # 获取返回值 output = [res.get() for res in results] print("计算结果:", output) # 输出: [0, 1, 4, 9, 16] ``` ### 使用回调函数（推荐） ```python import multiprocessing results = [] # 存储结果的全局列表 def collect_result(res): """回调函数收集结果""" results.append(res) if __name__ == "__main__": pool = multiprocessing.Pool() for i in range(5): # 直接附加回调函数 pool.apply_async( func=lambda x: x**2, args=(i,), callback=collect_result ) pool.close() pool.join() print("回调结果:", results) # 输出: [0, 1, 4, 9, 16] ``` ### 关键说明 1. **`AsyncResult.get()` 方法** - 阻塞调用直到结果就绪 - 可设置超时参数：`res.get(timeout=10)` - 注意：过早调用会阻塞主进程 2. **回调函数优势** - 非阻塞获取结果 - 结果就绪时自动触发 - 简化结果收集流程 3. **进程管理** - `pool.close()` 防止新任务加入 - `pool.join()` 确保子进程退出 > ⚠️ **注意**：Windows 系统必须在 `if __name__ == "__main__":` 中运行[^1]，Mac/Linux 可直接使用全局变量回调 ### 处理错误 ```python def error_callback(error): print(f"任务失败: {error}") pool.apply_async( func=worker, args=(5,), error_callback=error_callback # 专门处理异常 ) ``` ### 实际应用场景 - 并行计算密集型任务（如数据处理、机器学习预测） - I/O 密集型操作的并发执行（如批量API调用） - 需聚合多个子任务结果的批处理系统 [^1]: Python 多进程在 Windows 下的实现细节要求主模块可安全导入，参考 Python 官方文档进程安全章节。