PySide/PyQt - 启动CPU密集型线程会挂起整个应用程序

Question

我试图在我的PySide GUI应用程序中做一个相当常见的事情:我想将一些CPU密集型任务委托给后台线程,以便我的GUI保持响应,甚至可以在计算进行时显示进度指示器.

这是我正在做的事情(我在Python 2.7,Linux x86_64上使用PySide 1.1.1):

import sys
import time
from PySide.QtGui import QMainWindow, QPushButton, QApplication, QWidget
from PySide.QtCore import QThread, QObject, Signal, Slot

class Worker(QObject):
    done_signal = Signal()

    def __init__(self, parent = None):
        QObject.__init__(self, parent)

    @Slot()
    def do_stuff(self):
        print "[thread %x] computation started" % self.thread().currentThreadId()
        for i in range(30):
            # time.sleep(0.2)
            x = 1000000
            y = 100**x
        print "[thread %x] computation ended" % self.thread().currentThreadId()
        self.done_signal.emit()


class Example(QWidget):

    def __init__(self):
        super(Example, self).__init__()

        self.initUI()

        self.work_thread = QThread()
        self.worker = Worker()
        self.worker.moveToThread(self.work_thread)
        self.work_thread.started.connect(self.worker.do_stuff)
        self.worker.done_signal.connect(self.work_done)

    def initUI(self):

        self.btn = QPushButton('Do stuff', self)
        self.btn.resize(self.btn.sizeHint())
        self.btn.move(50, 50)       
        self.btn.clicked.connect(self.execute_thread)

        self.setGeometry(300, 300, 250, 150)
        self.setWindowTitle('Test')    
        self.show()


    def execute_thread(self):
        self.btn.setEnabled(False)
        self.btn.setText('Waiting...')
        self.work_thread.start()
        print "[main %x] started" % (self.thread().currentThreadId())

    def work_done(self):
        self.btn.setText('Do stuff')
        self.btn.setEnabled(True)
        self.work_thread.exit()
        print "[main %x] ended" % (self.thread().currentThreadId())


def main():

    app = QApplication(sys.argv)
    ex = Example()
    sys.exit(app.exec_())


if __name__ == '__main__':
    main()

应用程序显示带有按钮的单个窗口.按下按钮时,我希望它在执行计算时自行禁用.然后,应该重新启用该按钮.

相反,当我按下按钮时,整个窗口在计算结束时冻结,然后,当它完成时,我重新获得对应用程序的控制.该按钮似乎永远不会被禁用.我注意到一个有趣的事情是,如果我用do_stuff()简单的time.sleep()替换CPU密集型计算,程序就会按预期运行.

我并不完全知道发生了什么,但看起来第二个线程的优先级如此之高,以至于它实际上阻止了GUI线程的安排.如果第二个线程进入BLOCKED状态(与a一起发生sleep()),GUI实际上有机会按预期运行和更新接口.我试图改变工作线程优先级,但看起来它无法在Linux上完成.

另外,我尝试打印线程ID,但我不确定我是否正确执行.如果我,线程亲和力似乎是正确的.

我也用PyQt尝试了程序,行为完全相同,因此标签和标题.如果我可以使用PyQt4而不是PySide运行它,我可以将整个应用程序切换到PyQt4

Answer 1

这可能是由工作者线程持有Python的GIL引起的.在一些Python实现中,一次只能执行一个Python线程.GIL阻止其他线程执行Python代码,并在不需要GIL的函数调用期间释放.

例如,GIL在实际IO期间被释放,因为IO由操作系统而不是Python解释器处理.

解决方案:

1. 显然,您可以time.sleep(0)在工作线程中使用其他线程(根据此SO问题).您必须定期调用time.sleep(0)自己,并且GUI线程仅在后台线程调用此函数时运行.

2. 如果工作线程是完全独立的,您可以将它放入一个完全独立的进程中,然后通过管道发送pickle对象进行通信.在前台进程中,创建一个工作线程以使用后台进程执行IO.由于工作线程将执行IO而不是CPU操作,因此它不会保存GIL,这将为您提供完全响应的GUI线程.

3. 一些Python实现(JPython和IronPython)没有GIL.

CPython中的线程仅对多路复用IO操作非常有用,而不是将CPU密集型任务放在后台.对于许多应用程序,CPython实现中的线程从根本上被打破,并且可能在可预见的未来保持这种状态.