在Gunicorn/Flask应用程序中的进程之间共享静态全局数据

Question

我有一个在Gunicorn下运行的Flask应用程序,使用同步工作器类型和20个工作进程.该应用程序在启动时读取大量数据,这需要时间并使用内存.更糟糕的是,每个进程加载自己的副本,这会导致它花费更长的时间并占用20倍的内存.数据是静态的,不会改变.我想加载一次,让所有20名员工分享它.

如果我使用该preload_app设置,它只在一个线程中加载,并且最初只需要1X内存,但是一旦请求开始进入,它似乎会变成20X.我需要快速随机访问数据,所以我宁愿不做IPC.

有没有办法在Gunicorn流程之间共享静态数据？

Answer 1

内存映射文件将允许您在进程之间共享页面。

https://docs.python.org/2/library/mmap.html

请注意，内存消耗统计通常具有误导性且无益。通常最好考虑 vmstat 的输出并查看是否进行了大量交换。