小编dmg*_*dmg的帖子

Python多处理队列可靠性,队列与SimpleQueue和JoinableQueue

直接来自Python 文档:

class multiprocessing.Queue([maxsize])

...

qsize()返回队列的大致大小.由于多线程/多处理语义,这个数字不可靠.

empty()如果队列为空则返回True,否则返回False.由于多线程/多处理语义,这是不可靠的.

而且我凭经验发现这是非常正确的Queue,特别是对于empty().

在我的代码中,我有一堆进程(每个进程都是相同主进程的子进程),并且每个进程在其run方法中都有以下内容:

while self.active:
    if(self.exclusive_queue.empty() and self.exclusive_queue.qsize() == 0):
        try:
            self.exclusive_queue.put(self.general_queue.get(timeout=self.queue_timeout))
        except Queue.Empty as empty_queue:
            continue
    else:
        task = self.exclusive_queue.get()
        self.compute(task)

Run Code Online (Sandbox Code Playgroud)

基本上,该过程等待general_queue工作,但首先检查它exclusive_queue.主进程可以将任务放在进程的常规队列或独占队列中.现在,在if(self.exclusive_queue.empty() and self.exclusive_queue.qsize() == 0)我,我首先使用了一个self.exclusive_queue.empty()导致相当奇怪的行为(qsize()30+和empty() = True).

所以我在这里的方向是 - 因为multiprocessing.queues.SimpleQueue在文档中写道: