我正在尝试解决一项任务,并会感谢任何帮助 - 文档链接,论坛链接或其他常见问题解答,除https://cwiki.apache.org/confluence/display/NIFI/FAQs,或任何有意义的答案这篇文章=).
所以,我有以下任务:我的系统的初始部分每5-15分钟从不同的数据库源收集数据.然后我删除重复,删除垃圾,根据逻辑组合来自不同来源的数据,然后将其重定向到系统的第二部分作为几个流.据我所知,"NiFi"可以最好的方式完成这项任务=).
目前,我可以通过"GetHTTP"处理器成功从InfluxDB获取信息.但是我不能配置相同类型的处理器来从Elastic DB获取所有必要选项的信息.我希望从"现在 - 减去 - <5-15分钟>"到"现在"的时间段内每5-15分钟接收一次数据.(取决于调度程序周期)和几个额外的过滤器.如果我理解正确,可以通过订阅"_index"或通过定期请求DB以期望的间隔来实现.
我知道NiFi有几个专为Elasticsearch设计的处理器(FetchElasticsearch5,FetchElasticsearchHttp,QueryElasticsearchHttp,ScrollElasticsearchHttp)以及GetHTTP和PostHTTP处理器.然而,不幸的是,我缺乏信息甚至更好 - 例子 - 如何为我的目的配置他们的"属性"=(.
FetchElasticsearchHttp,QueryElasticsearchHttp之间有什么区别？哪一个更适合我的任务？GetHTTP和QueryElasticsearchHttp除了几个特定领域之外有什么区别？如果我根据需要调整它,GetHTTP会以相同的方式执行吗？
有什么建议？
我将不胜感激任何帮助.