将Couchbase复制到ElasticSearch(带多个索引)

Question

目前我们正在使用Couchbase和ElasticSearch(2.x)并使用elasticsearch-transport-couchbase插件成功地将数据从CB复制到ES .

升级到ES 5.6.4时问题就出现了.到目前为止,我们在ES中使用了单个索引,并且由于ElasticSearch 不再推荐这种方法,我们现在尝试在ES中创建多个索引(每个类型的索引)这意味着我们需要一种方法来复制从CB(单个桶)到ES(多个索引)的数据.

解决这个问题的最佳方法是什么？可能的解决方案:

1. 继续使用elasticsearch-transport-couchbase插件,但是我们必须创建大量(~150)XDCR复制,每种类型1个复制.我怀疑这会扩大..
2. 使用Spark或Kafka编写我们自己的解决方案(它们都不在技术堆栈上,因此实施可能需要时间,因此它不是最有利的解决方案)

任何帮助,将不胜感激.

Answer 1

Couchbase Elasticsearch Connector版本 4支持新的“index-per-type”模型（以及其他功能，包括对 ES 6、安全连接和复制检查点管理工具的支持）。如果您想尝试一下，您的反馈将非常宝贵。

免责声明：我是一名开发 Elasticsearch 连接器的 Couchbase 员工。