Waitress 如何处理并发任务？

Question

我正在尝试使用 Django 和 Waitress 构建一个 python 网络服务器，但我想知道 Waitress 如何处理并发请求，以及何时可能发生阻塞。

---

虽然Waitress 文档提到了多个工作线程可用，但它没有提供很多关于它们是如何实现的以及 python GIL 如何影响它们的信息（强调我自己的）：

当通道确定客户端至少发送了一个完整的有效 HTTP 请求时，它会使用“线程调度程序”调度“任务”。线程调度器维护一个固定的工作线程池，可用于执行客户端工作（默认情况下为 4 个线程）。如果在调度任务时工作线程可用，则工作线程运行该任务。任务可以访问通道，并且可以写回通道的输出缓冲区。当所有工作线程都在使用中时，计划任务将在队列中等待工作线程可用。

Stackoverflow 上似乎也没有太多信息。从问题“Gunicorn 的 gthread 异步工作者是否类似于女服务员？” ：

Waitress 有一个主异步线程来缓冲请求，并在请求 I/O 完成时将每个请求排入其同步工作线程之一。

---

这些陈述没有涉及 GIL（至少从我的理解来看），如果有人能详细说明工作线程如何为 Waitress 工作，那就太好了。谢谢！

Answer 1

以下是事件驱动的异步服务器通常的工作方式：

• 启动一个进程并监听传入的请求。利用操作系统的事件通知 API 可以很容易地从单个线程/进程为数千个客户端提供服务。
• 由于只有一个进程管理所有连接，因此您不希望在此进程中执行任何缓慢（或阻塞）的任务。因为那样它会为每个客户端阻塞程序。
• 为了执行阻塞任务，服务器将任务委托给“工人”。工作者可以是线程（在同一进程中运行）或单独的进程（或子进程）。现在主进程可以继续为客户端服务，而工人执行阻塞任务。

Waitress 如何处理并发任务？

几乎与我上面描述的方式相同。对于工人，它创建线程，而不是进程。

python GIL如何影响它们

女服务员为工人使用线程。所以，是的，它们受到 GIL 的影响，因为它们虽然看起来是并发的，但它们并不是真正并发的。“异步”是正确的术语。

Python 中的线程在单个进程内、单个 CPU 内核上运行，并且不并行运行。一个线程在很短的时间内获取 GIL 并执行其代码，然后另一个线程获取 GIL。

但是由于 GIL 是在网络 I/O 上释放的，因此只要有网络事件（例如传入请求），父进程就会始终获取 GIL，这样您就可以放心 GIL 不会影响网络绑定操作（如接收请求或发送响应）。

另一方面，Python 进程实际上是并发的：它们可以在多个内核上并行运行。但是女服务员不使用流程。

你应该担心吗？

如果你只是做一些小的阻塞任务，比如数据库读/写，并且每秒只为几百个用户提供服务，那么使用线程并不是那么糟糕。

为了服务大量用户或执行长时间运行的阻塞任务，您可以考虑使用像Celery这样的外部任务队列。这比自己生成和管理流程要好得多。