Airflow 在Google Composer中使用kubernetes秘密

是否可以将库伯内特斯的秘密与谷歌作曲家一起使用，以获取气流工人的秘密

---

我们将k8s机密用于现有的独立k8s气流群集，并希望通过Google Composer实现同样的效果。

气流工作人员可以使用Kubernetes机密。您可以为希望调用的任何API提供组件，以便在Airflow中以本机方式工作，以便凭据可以作为连接存储在Airflow的元数据数据库中，该数据库在静止时进行加密。使用涉及将密钥存储在具有适当ACL的GCS中，并将Composer设置为

您可以编写自己的自定义操作符来访问Kubernetes中的秘密并使用它。看看-这个模式可以应用于任何任意的秘密管理方案。这适用于访问气流连接、挂钩和操作员不明确支持的外部服务的场景

---

我希望这会有所帮助。

默认情况下，Kubernetes的秘密不会暴露给Cloud Composer部署的Airflow workers。您可以对展开进行修补以添加它们（

airflow worker

和

airflow scheduler

），但不能保证在环境上执行更新（例如配置更新或就地升级）时不会还原它们

---

使用气流连接（使用Fernet在元数据数据库中进行加密）或使用

KubernetesPodOperator

/

GKEPodOperator

启动新pod，并在pod启动时将相关秘密装载到pod中可能是最简单的方法。

感谢@muscat的建议。你能扩展一下SimpleHttpOperator的想法吗，这是怎么回事？事实上，我发现了另一个，它允许将秘密作为环境变量公开，这对你有用吗？气流工作人员可以简单地要求只使用他们需要的秘密建造吊舱。库伯内特斯。