小编Jim*_*myK的帖子

由生成器生成的 Python 3 队列,由多进程消耗

我有一个生成器会生成超过 1 万亿个字符串,我想把它们放在一个队列中,让一个工作池来消耗这个队列。但是,我无法将整个 1 万亿个字符串放入内存中并将它们映射到线程。

生成器非常快,消费工人不是。我需要将队列的长度保持在一定水平,以免破坏我的记忆。这意味着我需要找到一种方法来暂停和重新启动队列。

任何人都可以提供有关如何在 Python 3.4 中完成此任务的提示吗?

python queue multithreading

5
推荐指数
1
解决办法
2857
查看次数

标签 统计

multithreading ×1

python ×1

queue ×1