将弹性搜索索引与数据库记录进行比较以确定不一致状态的工具

Question

我想知道是否有任何工具可用于将数据库条目与 elastcisearch 索引进行比较以查找不匹配。

提前致谢。

Answer 1

有一种方法可以使用Scrutineer工具来做到这一点，该工具支持将存储在 Elasticsearch 中的数据与真实来源（通常是关系数据库）进行比较。

运行此工具后，您将获得以下报告：

• 记录在真实来源中而不是在 ES 中（missed create）
• ES中的记录而不是真实来源中的记录（遗漏删除）
• ES中的记录和不同步的事实来源（错过更新）

基本上，这将为您提供您正在比较的两个数据存储（ES + DB）的去/同步状态的准确概述。

更新1：

这是关于该主题的另一篇有趣的博客文章：Elasticsearch：使用外部数据存储验证数据完整性

更新 2：

这是关于该主题的另一篇有趣的博客文章：如何使用 Logstash 使 Elasticsearch 与关系数据库保持同步