Hen*_*nry 24 limits cassandra elasticsearch
我打算使用ElasticSearch索引我的Cassandra数据库.我想知道是否有人看过ElasticSearch的实际限制.在PB级范围内,事情会变慢吗？另外,有没有人使用ElasticSearch索引Cassandra有什么问题？
DNA*_*DNA 25
请参阅2011年的这个帖子,其中提到了ElasticSearch配置,每个分区有2000个分区,每个分区为100GB,这个分区的大小为1/3 PB.我希望ElasticSearch的体系结构支持几乎无限的水平可伸缩性,因为每个分片索引与所有其他分片分开工作.
实际限制(也适用于任何其他解决方案)包括首先实际加载大量数据所需的时间.管理该大小的Cassandra集群(或任何其他分布式数据存储)也将涉及用于维护,负载平衡等的大量工作负载.
dre*_*ewr 13
Sonian是公司kimchy暗示在该线程.我们在AWS上跨多个ES群集拥有超过1 PB的容量.水平扩展ES的距离没有技术限制,但正如DNA提到的那样存在实际问题.迄今为止最大的是网络.它适用于每个分布式数据存储.你一次只能在电线上移动这么多.当ES必须从故障中恢复时,它必须移动数据.最好的选择是在更多节点上使用更小的分片(更多的并发传输),但是您可能面临更高的故障率和每字节的过高成本.
归档时间：
14 年，2 月 前
查看次数：
10827 次
最近记录：
7 年，10 月 前