小编phu*_*oid的帖子

Django缓存大量列表

我的django应用程序处理25MB二进制文件.它们中的每一个都有大约100,000个"记录",每个"256"字节.

从磁盘读取二进制文件并使用python的struct模块解码它需要大约7秒钟.我将数据转换为大约100,000个项目的列表,其中每个项目都是一个字典,其中包含各种类型的值(浮点数,字符串等).

我的django视图需要搜索此列表.显然7秒太长了.

我已经尝试使用django的低级缓存API来缓存整个列表,但这不起作用,因为任何单个缓存项目的最大大小限制为1MB.我已经尝试单独缓存100,000个列表项,但这需要花费超过7秒的时间 - 大部分时间都花在取消项目上.

是否有方便的方法在请求之间在内存中存储大型列表?您能想到另一种缓存对象以供我的django应用程序使用的方法吗?

django memcached caching pickle deserialization

5
推荐指数
1
解决办法
4682
查看次数

标签 统计

caching ×1

deserialization ×1

django ×1

memcached ×1

pickle ×1