使用队列在python中进行线程化

Question

我想在python中使用线程来下载很多网页,并通过以下代码在网站之一中使用队列.

它放了一个无限的循环.每个线程是否连续运行,结束直到所有线程完成？我错过了什么.

#!/usr/bin/env python
import Queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):
  """Threaded Url Grab"""
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue

  def run(self):
    while True:
      #grabs host from queue
      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print url.read(1024)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
def main():

  #spawn a pool of threads, and pass them queue instance 
  for i in range(5):
    t = ThreadUrl(queue)
    t.setDaemon(True)
    t.start()

  #populate queue with data   
  for host in hosts:
    queue.put(host)

  #wait on the queue until everything has been processed     
  queue.join()

main()
print "Elapsed Time: %s" % (time.time() - start)

Answer 1

将线程设置为daemon线程会导致它们在main完成时退出.但是,是的,你是正确的,因为你的线程将持续运行,只要queue它将阻止的其他东西.

该文档解释了这个详细的队列文档

python Threading文档也解释了该daemon部分.

当没有剩下活着的非守护程序线程时,整个Python程序退出.

因此,当队列被清空并且queue.join当解释器退出线程时恢复然后将死亡.

编辑:更正默认行为 Queue

Answer 2

你的脚本对我来说很好,所以我假设你在询问发生了什么,这样你就能更好地理解它.是的,你的子类将每个线程放在一个无限循环中,等待放入队列中的东西.当发现某些东西时,它会抓住它并做它的事情.然后,关键部分,它通过queue.task_done通知队列它已完成,并继续等待队列中的另一个项目.

虽然所有这一切都在工作线程上进行,但主线程正在等待(加入),直到队列中的所有任务完成为止,这将是线程发送queue.task_done标志的次数与消息中的相同次数.队列 .此时主线程完成并退出.由于这些是deamon线程,它们也会关闭.

这是很酷的东西,线程和队列.这是Python真正优秀的部分之一.你会听到各种关于Python中的线程如何与GIL搞砸的东西.但是如果你知道在哪里使用它们(比如在这种情况下使用网络I/O),它们将真正为你加速.一般规则是,如果您是I/O绑定,请尝试并测试线程; 如果你是cpu绑定,线程可能不是一个好主意,也许尝试进程.

祝好运,

麦克风