Gunicorn Django 线程

Question

我无法找到有关 Gunicorn/Django 进程/线程生命周期的文档。

假设在 process_response() 中间件挂钩期间产生了一个守护线程。AFAIK 这个线程不会阻止 HTTP 响应。但是，它是否阻塞了产生它的线程？在工作进程准备好处理另一个请求之前，Gunicorn 是否等待该线程完成以将其加入主线程，或者该线程是否会被分离？

data_collection/tasks.py：

from celery import shared_task

@shared_task(ignore_result=True)
def add_event(event_name, event_body):
    ...
    client.add_event(event_name, event_body)

data_collection/middleware.py：

import threading
from data_collection.tasks import add_event

class DataCollectionMiddleware:
    def process_response(self, request, response):
        ...
        thread = threading.Thread(target=add_event.delay, args=("Page_Views", event_body))
        thread.setDaemon(True)
        thread.start()

更多详情：

我编写了一个自定义中间件类来将一些数据发送到外部队列 (RabbitMQ)，稍后由芹菜工作者异步检索和处理。我不希望这个在线排队调用阻塞客户端的响应，所以我将该函数 (add_event.delay()) 包装在一个“守护进程”线程中（a la http://www.artfulcode.net/文章/threading-django/）。如果网络中断并且重试策略有很长的限制，则此线程可能会运行很长时间。在那种情况下，这些线程会阻塞我的 Gunicorn 工作进程吗？

我读过这个问题，但我不确定我的线程是否干扰了“工人的主循环”： 在 Django/Gunicorn 应用程序中有持久（非守护进程）线程的危险？

Answer 1

不。从 Gunicorn 工作线程主线程产生的线程没有什么特别之处。

一旦你产生一个线程，它将并行执行直到完成或死亡。Gunicorn 不知道这些从工作主线程产生的线程，因此它不会尝试加入它们，因此工作主线程不会等待子线程完成。此外，线程的守护进程没有影响；守护进程只是意味着线程不会对进程的“活跃”做出贡献，并且会一直运行到进程退出，然后它会被自动杀死。

如果你想在重新使用同一个工作线程之前等待这些线程完成，你必须在 WSGI 应用程序（例如django.core.handlers.wsgi.WSGIHandler.__call__()）返回之前这样做。或者为 Gunicorn 编写一些疯狂的猴子补丁来跟踪子线程。

TL;DR 您绝对可以通过从工作主线程生成长时间运行的子线程而不受限制地增长线程。最好保证它们将在超时的某个时间范围内完成。