在我的枪手员工之间共享数据

Question

我有一个Flask应用程序，由Nginx和Gunicorn和3名工人一起提供。我的Flask应用程序是一种API微服务，旨在处理NLP内容，而我正在使用spaCy库。

我的问题是，由于加载spaCy管道spacy.load('en')非常占用内存，因此他们占用了大量RAM，并且由于我有3个gunicorn工人，每个工人将占用约400MB的RAM。

我的问题是，是否有一种方法可以将管道加载一次并在我的所有枪业工人中共享？

Answer 1

一种解决方法是，您可以预先加载 spaCy 管道，pickle（或任何舒适的序列化方式）结果对象并将其存储在数据库或文件系统中。每个工作人员只需获取序列化的对象，然后简单地反序列化它。