Elasticsearch的Liquibase或Flyway数据库迁移替代方案

Question

我对ES很新.我一直在尝试搜索数据库迁移工具很长时间,我找不到一个.我想知道是否有人可以帮我指出正确的方向.

我将在项目中使用Elasticsearch作为主数据存储区.我想对我在项目中开发新模块时运行的所有映射和配置更改/数据导入/数据升级脚本进行版本控制.

在过去,我使用了像Flyway或Liquibase这样的数据库版本控制工具.

是否有任何我可以与ES一起使用的框架/脚本或方法来实现类似的东西？

有没有人有任何使用脚本手动执行此操作的经验,并至少运行迁移脚本升级脚本.

提前致谢!

Answer 1

从这个角度来看,ES有很大的局限性:

• 尽管有动态映射,但ES 不是无模式的,而是模式密集型的.如果此更改与现有文档冲突,则映射无法更改(实际上,如果任何文档具有新映射影响的非null字段,则会导致异常)
• ES中的文档是不可变的:一旦你索引了一个,你就可以只检索/删除.围绕这个的语法糖是部分更新,这使得ES端的线程安全删除+索引(具有相同的id)

在你的问题中,这意味着什么？基本上,您无法拥有ES的经典迁移工具.以下是可以让您更轻松地使用ES的工作:

• 使用严格的映射("dynamic": "strict"和/或index.mapper.dynamic: false,看看映射文档).这将保护您的索引/类型

  • 意外动态映射错误的类型
  • 如果您错过了数据映射关系中的某些错误,则会出现显式错误

• 您可以获取实际的ES映射并将其与数据模型进行比较.如果您的PL具有足够高的ES级别库,这应该非常简单

• 您可以利用索引别名进行迁移

所以,一点经验.对我来说,目前合理的流程是这样的:

• 所有数据结构都在代码中描述为模型.这个模型实际上也提供了ORM抽象.
• 索引/映射创建调用是简单模型的方法.
• 每个索引都有别名(即news),它指向实际索引(即news_index_{revision}_{date_created}).

每次部署代码时,您

1. 尝试放置模型(类型)映射.如果它完成没有错误,这意味着你也是

   • 把相同的映射
   • 把映射作为旧的超集(只提供了新的字段,旧的保持不变)
   • 没有文档在受新映射影响的字段中具有值

   所有这些实际上意味着您可以使用您拥有的mappping /数据,只需像往常一样处理数据

2. 如果ES提供有关新映射的例外,那么
   • 使用新映射创建新索引/类型(命名为 name_{revision}_{date}
   • 将别名重定向到新索引
   • 启动bulk快速重建索引请求的迁移代码在此重建索引期间,您可以通过别名安全地索引新文档.缺点是历史数据在重建索引期间部分可用.

这是经过生产测试的解决方案.围绕这种方法的注意事项:

• 如果您的读取请求需要一致的历史数据,则无法执行此操作
• 你需要重新索引整个索引.如果每个索引有1种类型(可行的解决方案),那就好了.但有时您需要多类型索引
• 数据网络往返.有时可能会疼

总结一下:

• 尝试在模型中获得良好的抽象,这总是有帮助的
• 尝试保持历史数据/字段陈旧.只需记住这个想法就可以构建你的代码,这比起初的声音更容易
• 我强烈建议避免依赖利用ES实验工具的迁移工具.这些可以随时更改,就像river-*工具一样.