我的django应用程序处理25MB二进制文件.它们中的每一个都有大约100,000个"记录",每个"256"字节.
从磁盘读取二进制文件并使用python的struct模块解码它需要大约7秒钟.我将数据转换为大约100,000个项目的列表,其中每个项目都是一个字典,其中包含各种类型的值(浮点数,字符串等).
我的django视图需要搜索此列表.显然7秒太长了.
我已经尝试使用django的低级缓存API来缓存整个列表,但这不起作用,因为任何单个缓存项目的最大大小限制为1MB.我已经尝试单独缓存100,000个列表项,但这需要花费超过7秒的时间 - 大部分时间都花在取消项目上.
是否有方便的方法在请求之间在内存中存储大型列表?您能想到另一种缓存对象以供我的django应用程序使用的方法吗?