小编Har*_*wal的帖子

我正在开发一个项目,需要提供一个通用的仪表板,用户可以在不同的领域进行不同类型的分组,过滤和深入分析.为此,我们正在寻找一个允许切片和数据切片的搜索商店.

将有多个数据源,并将其存储在搜索存储中.源数据可能需要一些预先计算,这可以由中间组件完成.

我查看了几个博客,了解ES是否也可以可靠地用作主数据存储区.它主要取决于我们正在寻找的用例.有关我们使用的用例的一些信息:

• 每年约有3亿条记录,1-2 KB.
• 假设存储1年的数据,我们现在有300 GB,但由于数据增长,用例可以达到400-500 GB.
• 截至目前尚不确定,我们将如何推送数据,但粗略地说,它每5分钟可以达到约2-3百万条记录.
• 搜索请求很少,但需要复杂的查询,可以搜索最近6周到6个月的数据.
• 文档将在文档中的几乎所有字段中编制索引.

一些博客称它足够可靠,可用作主要数据存储 -

• http://chrisberkhout.com/blog/elasticsearch-as-a-primary-data-store/
• http://highscalability.com/blog/2014/1/6/how-hipchat-stores-and-indexes-billions-of-messages-using-el.html
• https://karussell.wordpress.com/2011/07/13/jetslide-uses-elasticsearch-as-database/

一些博客称ES没有什么限制 -

• https://www.found.no/foundation/elasticsearch-as-nosql/
• https://www.found.no/foundation/crash-elasticsearch/
• http://www.quora.com/Why-should-I-NOT-use-ElasticSearch-as-my-primary-datastore

有没有人使用Elastic Search作为数据的唯一真相,而没有像PostgreSQL,DynamoDB或RDS这样的主存储？我已经查明ES存在某些问题,例如分裂大脑和索引损坏,其中可能存在数据丢失问题.所以,我想知道是否有人使用过ES并且遇到了数据方面的麻烦

谢谢.