Amazon web services ApacheAirflow-在EC2上运行任务

我们正在考虑将数据管道迁移到Airflow，我们需要的一项是任务创建、执行和销毁EC2实例的能力。我知道Airflow支持ECS和Fargate，这将产生类似的效果，但不是所有的任务都能在不进行重大重构的情况下直接适应这种模式

我看到我们可以使用分布式执行器，手动上下扩展工作人员池，但我们真的不需要一直都有工作人员，只是偶尔需要，当我们这样做时，我们只需要在每个任务运行时为其配备一台专用机，并在任务完成时销毁每台机器

我脑子里一直想的是一个类似于“蜉蝣C2Operator”的想法，它将启动一台机器，SSH-in，运行一个编排任务的bash脚本，然后将机器拆毁

这种能力是否存在，还是我们必须自己实现

---

提前谢谢。

我认为没有公开的类似内容。gcloud有：。你也许可以不费吹灰之力地创建一个。我很好奇为什么你不能将你的任务压缩到ecs中？我建议，你可以创建自定义的AirFlow操作符来创建、执行和销毁。这个链接可以帮助您获取代码片段@RobertMoskal大多数任务实际上已经在Docker中，但是通常会有一个bash脚本来包装它们，它处理一些设置、参数、其他服务、从S3中提取数据等等。如果可能的话，我们宁愿在迁移时一次只更改一件事。@RangaVure，谢谢链接。这会有帮助的！将脚本移动到容器中应该不会太难！