什么是ElasticSearch-Hadoop(es-hadoop)及其对HBase的实时Web应用程序的好处?

ElH*_*aix 4 hadoop hbase elasticsearch elasticsearch-hadoop

我不完全清楚es-hadoop是什么来自描述.

这仅仅是一个"连接器",它将数据从ES群集移动到HDFS以进行Hadoop分析吗?如果是这样,为什么不与HBase一起进行低延迟文本查询?

es-Hadoop与普通ES的安装方式不同吗?

请澄清一下.

谢谢.

Mic*_*iov 7

ES-Hadoop更接近于成为Hadoop生态系统与ES之间的连接器.它不是ES的单独版本.

基本上它改善了Hadoop生态系统应用程序与ES之间的集成.在我的组织中,我们将此功能用于以下目的:

  1. 在将数据索引到ES之前,我们使用Spark来分析数据并执行相关聚合以减少应在ES上执行的索引量.ES-Hadoop帮助我们直接从Spark数据结构索引到ES.我们用一行代码开始索引过程,不需要自己编写索引程序.(该功能是可配置的,您可以根据需要灵活地索引数据).

  2. 在我们的组织中,我们使用ES作为近实时分析群集.ES中的数据放置方式将为我们的客户带来最佳性能.有时(通常当我们有关于某些新功能的想法时),我们必须从ES获取数据并对数据执行一些复杂的处理.在这些情况下,我们也可以在一行代码中从ES数据创建Spark数据结构.

因此,ES-Hadoop更接近于一个写得很好的连接器.您仍然必须将数据从ES群集传输到Hadoop.

我不确定与HBase的比较,你无法真正比​​较HBase的功能,HBase是一个关键值存储,与ES相比,ES是一个通用搜索引擎+在最新版本中实现了非常好的分析功能.在我看来,我们正在处理访问不同问题的不同工具.