python中的进程池

最新推荐文章于 2025-07-12 17:09:30 发布

原创最新推荐文章于 2025-07-12 17:09:30 发布 · 282 阅读

CC 4.0 BY-SA版权

本文介绍了Python中使用multiprocessing模块创建进程池的方法，包括如何控制子进程数量以及进程池的阻塞和非阻塞模式。非阻塞模式下，任务会立即返回并不等待所有进程完成，而回调函数会在任务完成后调用。阻塞模式则确保一个任务执行完毕后才能开始下一个。此外，还讨论了如何关闭进程池以及主进程与子进程的协调运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建进程池

使用multiprocessing模块中提供的Pool方法（进程池）
Pool方法可以传入参数来控制进程池里的子进程数量

from multiprocessing import Pool
pool = Pool(n)

进程池的阻塞和非阻塞模式

非阻塞式：全部添加到队列中，立刻返回，并没有等待其他的进程完毕，但是回调函数是等任务完成之后才调用

pool.apply_async(func, args=(), callback)
# 定义回调方法
# 回调方法中的参数,m就是进程池调用的函数返回的值
def callback_func(m):
    container.append(m)

阻塞式：添加并执行一个任务，如果一个任务不结束，另一个任务就进不来。

pool.apply(func, args=())

添加任务结束，不允许再添加任务
关闭pool，使其不在接受新的（主进程）任务

pool.close()

主进程阻塞，让子进程继续运行完成，子进程运行完后，再把主进程全部关掉。

pool.join()

def func1(*args):
    time.sleep(2)
    print('执行任务{}'.format(args))

if __name__ == '__main__':
    tasks = ('吃饭', '睡觉', '上厕所')
    pool = Pool(2)
    for task in tasks:
        pool.apply_async(func1, args=(task,))
    pool.close()
    pool.join()
    print('主进程结束打印')

# 在这段代码中，如果不加pool.close和 pool.join的话，会直接执行主进程的打印结束，同时进程池里的子进程也不会再运行
# 在加上pool.close和 pool.join之后，会将主进程阻塞，让子进程继续运行完成，子进程运行完后，再把主进程全部关掉。