小编huh*_*ihi的帖子

没有root的Datastax Cassandra

我正在尝试在Redhat Linux上安装和运行Datastax cassandra社区版,但我没有root权限.我在我的主目录中提取了tar,但我无法做到./cassandra

我在HPC集群上执行此操作,并认为我将Cassandra安装在我的主目录中并将数据保存在我们提供的临时空间中(主目录没有足够的空间来容纳整个数据)

我将不胜感激任何帮助!谢谢!

linux cassandra datastax

6
推荐指数
1
解决办法
3381
查看次数

在内存中缓存海量数据

我正在寻找一种可以处理大数据(<5GB)的内存中缓存解决方案。对于用户输入的搜索词,数据库(elasticsearch)将返回大量数据,该数据将通过该工具的不同网页进行分析和显示。现在我的问题是我想临时缓存这些大数据,直到用户会话结束为止,这样我就不必在每次用户打开新页面时都从elasticsearch再次获取它。它必须在内存中,因为基于磁盘的操作将花费一分钟以上,这将非常慢。

我最初以为是memcached,但最大限制为128MB。在阅读了很多内容之后,Redis似乎很合适,但是我不清楚一堆Redis节点是否可以串联工作。是否可以建立一个包含许多Redis节点的池,以便无需我指定节点就可以自动选择合适的节点SET并返回数据GET

TL; DR

  • 问题:将大数据(<5GB)缓存在内存缓存中
  • 可能的解决方案:Redis
  • 问题:我可以合并一堆Redis节点,以便我可以获取存储在其中任何一个节点中的密钥而无需指定特定节点。我不需要分发数据,因为单个用户的数据将适合单个节点的RAM。

memcached caching bigdata redis elasticsearch

5
推荐指数
1
解决办法
2918
查看次数

Elasticsearch Python API 中的持久连接是什么意思?

我正在使用Python Elasticsearch API与我的应用程序中的 ES 进行交互。目前,应用程序一旦收到用户请求,就会执行此操作esclient = Elasticsearch("127.0.0.1"),然后使用该请求esclient来搜索所需的数据。但我最近读到ES有持久连接。所以,

  1. 我应该将其保存esclient在某处并重复使用吗?如果是,我该怎么做?
  2. esclient如果我在请求后忘记并下次打开一个新的,是否会出现资源泄漏?如果是,我该如何解决这个问题/关闭打开的连接?

另外,memcached/Redis python API 也有同样的问题。我client = Client("127.0.0.1")在每个用户请求期间都会执行多次。

抱歉,这似乎是一个愚蠢的问题,但我有点困惑。

提前致谢!

python memcached connection-leaks redis elasticsearch

5
推荐指数
1
解决办法
1092
查看次数