通过詹金斯部署Oozie职位

Question

我正在写Oozie作业，我想将它们部署到hadoop集群中。

但是，我不想使用手动方式，而是要使用Jenkins为我完成此部署。

我在网上搜索并没有找到oozie的任何插件....因此，如果您在hadoop集群上使用oozie，能否请您告诉我使用Jenkins进行自动化构建和部署的最佳方法是什么？

Answer 1

部署Oozie工作流只是将xml文件和群集上不可用的必需依赖项放到HDFS目录中。链接

• 假设您有两个詹金斯工作，
  • 一种用于构建，测试等
  • 第二次部署成功完成第一项工作后触发

您可以在第二个工作中使用脚本编写将文件放在HDFS上的脚本，例如使用WebHdfs

如果您从第一份工作获得的产品是某种包，例如zip，您可以创建一个脚本，该脚本将从Jenkins / Nexus下载此工件，并可以访问hdfs控制台命令，提取该zip并放入整个目录到HDFS作为其描述在这里

如果您正在使用某些配置工具（Puppet或Ansible），则可以将其用于此目的。

为了配置Jenkins调度，您可能需要使用

• Jenkins 管道插件
• 或在Jenkins工作页面上的“配置->构建触发器->在其他项目构建后进行构建”