将批量数据索引到ElasticSearch的首选方法？

Question

我一直在关注ElasticSearch作为解决方案在我公司获得更好的搜索和分析功能.我们目前所有的数据都在SQL Server中,并且我已经成功安装了JDBC River并将一些测试数据输入ES.

Rivers似乎可以在将来的版本中弃用,而JDBC河由第三方维护.Logstash似乎还不支持从SQL Server编制索引(不知道它是否是计划的功能).

因此,对于我想将数据从SQL Server移动到ElasticSearch的情况,当SQL使用新数据更新时,索引数据和维护索引的首选方法是什么？

从链接的线程:

我们建议您在ES之外拥有索引流程,并确保它可以根据您的需求进行扩展.

我不太清楚从哪里开始.是否使用ES提供的API之一？

Answer 1

我们使用 RabbitMQ 将数据从 SQL Server 传输到 ES。这样 Rabbit 就会负责排队和处理。

需要注意的是，我们每秒可以从 SQL 到 Rabbit 运行超过 4000 条记录。我们在将数据放入 ES 之前做了更多处理，但仍然以每秒超过 1000 条记录的速度插入 ES。攻防两端都令人印象深刻。Rabbit和ES都很棒！