所以我目前正在开发一个为多种 NLP 服务提供服务的 FastAPI 项目。为此，我想提供来自 spacy 和 Huggingface 的不同模型。
由于这些模型非常大，因此为每个发布请求加载模型时的推理时间非常长。我的想法是在 FastAPI 启动时加载所有模型（在 app/main.py 中），但是，我不确定这是否是一个好的选择/想法，或者这种方法是否有一些缺点，因为模型会在缓存中（？）。（信息：我想对项目进行 dockerize，然后将其部署在虚拟机上）
到目前为止，我无法在互联网上找到任何指导，所以我希望在这里得到一个好的答案:)
提前致谢！