将AWS Data Pipeline导出为CloudFormation模板以在Terraform中使用

Question

我试图以某种方式将现有的 AWS Data Pipeline任务导出到Terraform基础架构。

因此，对于此问题，没有对数据管道的直接支持，但是使用CloudFormation模板（terraform resource）仍然可以实现。

问题是我找不到将现有管道导出到CloudFormation模板的方法。

用我的特定定义语法导出管道将无法正常工作，因为我还没有找到将该定义包含到CloudFormation中的方法。CloudFormer也不支持导出管道。

是否有人知道如何将管道导出到CloudFormation或通过其他方式通过Terraform自动化实现AWS Data Pipeline？

谢谢您的帮助！

Answer 1

UPD [Jul。[2019年]：terraform存储库已取得一些进展。aws_datapipeline_pipeline资源已实现，但尚不清楚如何使用它。合并拉取请求

原始答案：

作为此问题的解决方案，我提出了一个node.js脚本，其中涵盖了我的用例。另外，我创建了一个Terraform模块以用于Terraform配置。

这是带有代码的要点链接

将在此处复制用法示例。

命令行：

node converter-cli.js ./template.json "Data Pipeline Cool Name" "Data Pipeline Cool Description" "true" >> cloudformation.json

地形：

module "some_cool_pipeline" {
  source = "./pipeline"
  name = "cool-pipeline"
  description = "The best pipeline!"
  activate = true
  template = "${file("./cool-pipeline-template.json")}"

  values = {
    myDatabase = "some_database",
    myUsername = "${var.db_user}",
    myPassword = "${var.db_password}",
    myTableName = "some_table",
  }
}