Google cloud platform 从GKEPodOperator返回python对象
我有一个DAG正在调用GKEPodOperator,其中运行python脚本来处理数据并将数据加载到BigQuery。GKEPodOperator能否像python列表或字典一样从执行的脚本返回到DAG,以便我可以利用它使用dagpoperator编写自定义电子邮件?FirstGoogle cloud platform 从GKEPodOperator返回python对象,google-cloud-platform,airflow,Google Cloud Platform,Airflow,我有一个DAG正在调用GKEPodOperator,其中运行python脚本来处理数据并将数据加载到BigQuery。GKEPodOperator能否像python列表或字典一样从执行的脚本返回到DAG,以便我可以利用它使用dagpoperator编写自定义电子邮件?FirstGKEPodOperator已被弃用。您应该使用GKEStartPodOperator 与其他运算符一样,可以使用Xcom在任务之间传递值。请注意,GKEStartPodOperator继承自KubernetesPodOp
GKEPodOperator
已被弃用。您应该使用GKEStartPodOperator
与其他运算符一样,可以使用Xcom在任务之间传递值。请注意,GKEStartPodOperator
继承自KubernetesPodOperator
,因此xcom机制与其他操作符不同。它的工作原理是启动一个侧车集装箱。你可以通过例子了解更多
现在您已经将所需的值存储为XCOM(作为字符串),您希望将其拉入,以便可以在自定义运算符中使用它:
气流>=2.1.0
(尚未发布)
本机支持将xcom直接转换为本机python对象。看见您需要将渲染模板设置为\u native\u obj=True
。您可以在文档中了解更多信息:
气流<2.1.0
:
在后续任务中,需要提取xcom值并将其转换为所需的任何Python对象。你可以看到它的例子