一个很好的blobstore/memcache解决方案

Chr*_*row 5 python sql caching data-mining redis

在Linux云服务器上设置数据仓库挖掘项目.主要语言是Python.

想使用此模式查询数据和存储数据:

  • SQL数据库 - SQL数据库用于查询数据.但是,SQL数据库仅存储需要搜索的字段,它不存储数据本身的"blob".相反,它存储一个键,该键引用键值Blobstore中的完整"blob"数据.
  • Blobstore - 键值Blobstore用于存储数据的实际"文档"或"blob".

我们遇到的问题是我们希望更频繁访问的数据blob自动存储在RAM中.我们计划使用Redis.但是,我们想要一个自动尝试从RAM中获取数据的解决方案,如果它无法在那里找到它,那么它将转到blobstore.

有没有一个好的图书馆或现成的解决方案,我们可以使用而无需自己动手?此外,任何有关拟议架构的评论和批评也将受到赞赏.

非常感谢!

Did*_*zia 3

我建议不要使用 Redis 或 Memcached 进行缓存,再加上“blobstore”包将内容存储在磁盘上,我建议看看Couchbase Server,它完全可以满足您的需求(即从内存中提供热 blob,但仍将它们存储到磁盘)。

在我工作的公司中,我们通常将您描述的模式(即关系数据库中的索引,加上 blob 存储)用于我们的存档服务器(TB 级数据)。当写入 Blob 的 I/O 保持顺序时,它会很好地工作。Blob 永远不会被重写,而只是附加在文件末尾(这对于归档应用程序来说很好)。

其他人也使用了同样的方法。例如: