Eva*_*kas 15 sql-server elasticsearch apache-kafka apache-kafka-connect
我目前正在SQL Server中运行文本搜索，这正成为瓶颈，出于显而易见的原因，我想将其移至Elasticsearch，但是我知道我必须对数据进行非规范化才能获得最佳性能和可伸缩性。
目前，我的文本搜索包括一些聚合和联接多个表以获得最终输出。联接的表不是很大（每个表最多20GB），但是会不定期地更改（插入，更新，删除）（其中两个每周一次，另一个x每天一次）。
我的计划是将Apache Kafka与Kafka Connect一起使用，以便从我的SQL Server中读取CDC，在Kafka中加入此数据并将其保留在Elasticsearch中，但是我找不到任何资料可以告诉我在处理数据时如何处理删除操作坚持使用Elasticsearch。
默认驱动程序甚至支持吗？如果没有，有什么可能？Apache Spark，Logstash？
我不确定现在在 Kafka Connect 中是否已经可以实现这一点，但似乎可以通过 Nifi 来解决。
希望我理解这一需求，这里是使用标准 NiFi 处理器之一删除 Elasticsearch 记录的文档：