Airflow 气流dag中两个任务之间的数据共享

Airflow 气流dag中两个任务之间的数据共享,airflow,airflow-operator,Airflow,Airflow Operator,我想使用HiveOperator执行配置单元查询,该查询的输出应该使用PythonOperator传输到python脚本。是否可能以及如何解决?通常,解决此类问题的一种方法是使用Airflow的XCOM-请参阅 然而,我会谨慎地使用它,并且只在严格必要的情况下使用。否则,您的运营商可能会陷入混乱和相互依赖的境地 一种好方法是将输出写入s3或其他内容,然后通过XCOM将链接传递到下一个任务。但是使用xcom如何将查询结果推送到另一个任务。你有任何示例代码吗?@RohanK我相信命令是xcom\u

我想使用HiveOperator执行配置单元查询,该查询的输出应该使用PythonOperator传输到python脚本。是否可能以及如何解决?

通常,解决此类问题的一种方法是使用Airflow的XCOM-请参阅


然而,我会谨慎地使用它,并且只在严格必要的情况下使用。否则,您的运营商可能会陷入混乱和相互依赖的境地

一种好方法是将输出写入s3或其他内容,然后通过XCOM将链接传递到下一个任务。但是使用xcom如何将查询结果推送到另一个任务。你有任何示例代码吗?@RohanK我相信命令是xcom\u push()和xcom\u pull()。您必须在文档中查找这些内容: