Apache Airflow - 在 EC2 上运行任务

Question

我们正在考虑将数据管道迁移到 Airflow，我们需要的一项是任务能够创建、执行和销毁 EC2 实例。我知道 Airflow 支持 ECS 和 Fargate，这将具有类似的效果，但并非我们所有的任务都将直接适合该范例，而无需进行重大重构。

我发现我们可以使用分布式执行器并手动扩展工作人员池，但我们确实不需要一直让工作人员处于运行状态，只是偶尔需要，而且当我们这样做时，我们也能得到很好的服务每个任务运行时都有一个专用机器，并在任务完成时销毁每台机器。

我脑海中浮现的想法类似于“EphemeralEC2Operator”，它可以启动一台机器，通过 SSH 连接，运行一个 bash 脚本来编排任务，然后关闭机器。

这种能力是否存在，还是我们必须自己实现？

提前致谢。