Google cloud platform 从GKEPodOperator返回python对象

Google cloud platform 从GKEPodOperator返回python对象,google-cloud-platform,airflow,Google Cloud Platform,Airflow,我有一个DAG正在调用GKEPodOperator,其中运行python脚本来处理数据并将数据加载到BigQuery。GKEPodOperator能否像python列表或字典一样从执行的脚本返回到DAG,以便我可以利用它使用dagpoperator编写自定义电子邮件?FirstGKEPodOperator已被弃用。您应该使用GKEStartPodOperator 与其他运算符一样,可以使用Xcom在任务之间传递值。请注意,GKEStartPodOperator继承自KubernetesPodOp

我有一个DAG正在调用GKEPodOperator,其中运行python脚本来处理数据并将数据加载到BigQuery。GKEPodOperator能否像python列表或字典一样从执行的脚本返回到DAG,以便我可以利用它使用dagpoperator编写自定义电子邮件?

First
GKEPodOperator
已被弃用。您应该使用
GKEStartPodOperator

与其他运算符一样,可以使用Xcom在任务之间传递值。请注意,
GKEStartPodOperator
继承自
KubernetesPodOperator
,因此xcom机制与其他操作符不同。它的工作原理是启动一个侧车集装箱。你可以通过例子了解更多

现在您已经将所需的值存储为XCOM(作为字符串),您希望将其拉入,以便可以在自定义运算符中使用它:

  • 气流>=2.1.0
    (尚未发布) 本机支持将xcom直接转换为本机python对象。看见您需要将
    渲染模板设置为\u native\u obj=True
    。您可以在文档中了解更多信息:

  • 气流<2.1.0
    : 在后续任务中,需要提取xcom值并将其转换为所需的任何Python对象。你可以看到它的例子