FastAPI `run_in_threadpool` 卡住了

Question

我已经使用异步实现了所有路线。并遵循 FastAPI 文档中的所有准则。

每个路由都有多个数据库调用，没有异步支持，所以它们是这样的正常功能

def db_fetch(query):
    # I take a few seconds to respond
    return 

为了避免阻塞我的事件循环，我使用fastapi.concurrancy.run_in_threadpool

现在的问题是，当大量请求到来时，我的新请求就会被阻止。即使我关闭浏览器选项卡（取消请求），整个应用程序也会卡住，直到处理旧的请求为止。

我在这里做错了什么？

我用它uvicorn作为我的 ASGI 服务器。我在具有 2 个副本的 kubernetes 集群中运行。

很少有人怀疑：我是否产生了太多线程？这是 uvicron 中的一些错误吗？不太确定！

Answer 1

正如您所说，这是线程太多的问题。在底层，fastapi 使用 starlette，而 starlette 又使用 anyio 的to_thread.run_sync. 如此处所述，太多线程可能会导致问题，您可以使用信号量来屏蔽它们，以设置创建的最大线程数的上限。在代码中，大致如下

# Core Library
from typing import TypeVar, Callable
from typing_extensions import ParamSpec
# Third party
from anyio import Semaphore
from starlette.concurrency import run_in_threadpool

# To not have too many threads running (which could happen on too many concurrent
# requests, we limit it with a semaphore.
MAX_CONCURRENT_THREADS = 10
MAX_THREADS_GUARD = Semaphore(MAX_CONCURRENT_THREADS)
T = TypeVar("T")
P = ParamSpec("P")


async def run_async(func: Callable[P, T], *args: P.args, **kwargs: P.kwargs) -> T:
    async with MAX_THREADS_GUARD:
        return await run_in_threadpool(func, *args, **kwargs)