14队列-多进程间的通信

hh3167253066

于 2021-03-30 18:47:49 发布

阅读量826

点赞数

CC 4.0 BY-SA版权

分类专栏： # python基础文章标签：队列多进程 python

本文链接：https://blog.csdn.net/hh3167253066/article/details/115332644

python基础专栏收录该内容

26 篇文章

订阅专栏

该博客介绍了如何使用Python的multiprocessing模块和队列实现数据下载与处理的两个并发进程间的通信。下载进程模拟从网上下载数据并存入队列，数据处理进程从队列中取出数据进行处理。这种机制确保了先进先出（FIFO）的顺序，有效利用多核CPU资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

队列：先进先出

下面代码就模拟了下载数据与数据处理两个进程间利用队列进行数据传递的方法

import multiprocessing


def download_from_web(q):
    ''' 下载数据 '''
    # 模拟从网上下载的数据
    data = [11, 22, 33, 44]
    # 向队列中写入数据
    for temp in data:
        q.put(temp)
    print("下载器已经下载完数据并且存入了数据中")


def analysis_data(q):
    '''数据处理'''
    waitting_analysis_data = list()
    # 从对列中获取数据
    while True:
        data = q.get()
        waitting_analysis_data.append(data)
        if q.empty():
            break
        # 模拟数据处理
    print(waitting_analysis_data)


def main():
    # 1. 创建一个队列
    q = multiprocessing.Queue()
    # 2. 创建多个进程，将队列的引用当作实参进行传递
    p1 = multiprocessing.Process(target=download_from_web, args=(q,))
    p2 = multiprocessing.Process(target=analysis_data, args=(q,))
    p1.start()
    p2.start()


if __name__ == "__main__":
    main()