Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/360.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Python操作符之间传递数据帧_Python_Airflow - Fatal编程技术网

在Python操作符之间传递数据帧

在Python操作符之间传递数据帧,python,airflow,Python,Airflow,我试图寻找这个答案,但找不到任何有意义的我正在尝试做的事情 我正在尝试创建一个DAG,它将从FTP抓取一个文件并返回一个数据帧,清理数据帧,然后导入SQL。因此,它最终将看起来像: 连接到\u ftp>>获取\u文件>>清除数据帧>>导入到\u sql 因此,如果我想在一个操作符中获取数据帧,并将其传递到另一个操作符中,我将如何做到这一点?我是使用xcom变量,还是只在代码中使用全局变量?因此我在文档中读到: 操作符应该是原子的,并且很少相互传递数据。所以我想我想错了?考虑下载文件,然后传递文

我试图寻找这个答案,但找不到任何有意义的我正在尝试做的事情

我正在尝试创建一个DAG,它将从FTP抓取一个文件并返回一个数据帧,清理数据帧,然后导入SQL。因此,它最终将看起来像:

连接到\u ftp>>获取\u文件>>清除数据帧>>导入到\u sql

因此,如果我想在一个操作符中获取数据帧,并将其传递到另一个操作符中,我将如何做到这一点?我是使用xcom变量,还是只在代码中使用全局变量?

因此我在文档中读到:


操作符应该是原子的,并且很少相互传递数据。所以我想我想错了?

考虑下载文件,然后传递文件名。不幸的是,是的。也就是说,我看到过数据被传递的实现。Tbh,我不确定哪一个更好,或者气流是否是ETL的一个好工具。@Absolutelycrasted我可以问一下,您认为哪一种流适合调度ETL,并且与气流相比能够为我们提供良好的可视性?@Apicharthanomkiet不幸的是,我自己刚刚开始使用ETL管道,所以我真的不知道有哪些替代方案。