Airflow 本地下载的文件在Cloud Composer上放在哪里?

Airflow 本地下载的文件在Cloud Composer上放在哪里?,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我有一个DAG,可以从云存储下载一个文件并将其保存到以下路径:/home/afflow/gcs/data/FILENAME.txt 然后,该文件出现在Cloud Composer存储桶中的/data下 然而,当我最初编写DAG时,我没有指定下载位置:/home/afflow/gcs/data/,只是让它下载文件。我想删除那些文件,但我不知道在哪里可以找到它们 如果您没有指定文件夹,Cloud Composer中下载的文件将驻留在何处?从您第一次编写DAG开始,您似乎不需要担心清理问题-如果您使用

我有一个DAG,可以从云存储下载一个文件并将其保存到以下路径:
/home/afflow/gcs/data/FILENAME.txt

然后,该文件出现在Cloud Composer存储桶中的
/data

然而,当我最初编写DAG时,我没有指定下载位置:
/home/afflow/gcs/data/
,只是让它下载文件。我想删除那些文件,但我不知道在哪里可以找到它们


如果您没有指定文件夹,Cloud Composer中下载的文件将驻留在何处?

从您第一次编写DAG开始,您似乎不需要担心清理问题-如果您使用的是
gcs\u download\u操作符
,那么根据its,如果您没有为
filename
参数指定值,下载的文件不会存储在本地文件系统中

在本例中,我没有使用“地面军事系统下载”操作员,但会继续检查。但从理论上讲,如果我将一个文件下载到Cloud Composer,而不指定
/home/afflow/gcs/data/
…它将在哪里结束?您现在使用什么进行下载?bash操作符中的gsutil?还有什么吗?我正在使用Google python客户端,在文档中他们有一个名为
下载到\u filename
的方法,在这里可以找到:这个作业最初是在本地运行的,我基本上是将python复制到PythonOperator中运行的。这就是为什么以前它会在本地下载,但现在我只是想了解当它在Composer中执行相同代码时会发生什么。