Google cloud platform 使用Airflow将本地目录上载到地面军事系统

Google cloud platform 使用Airflow将本地目录上载到地面军事系统,google-cloud-platform,directory,upload,airflow,airflow-operator,Google Cloud Platform,Directory,Upload,Airflow,Airflow Operator,我试图使用气流上传一个目录与拼花文件到地面军事系统。 为此我试过了 我尝试了以下选项: 选择1 src=/*.拼花地板 它出错了:没有找到这样的文件 选择2 src=->其中path是目录路径 它的错误是:是一个目录 问题 无论如何,FileToLoglecloudStorageOperator是否可以扩展到目录级别? 有没有其他方法可以做同样的事情? 简短回答:目前这是不可能的。但我将把它作为一个功能请求,并尝试在即将发布的版本中添加它 在此之前,您可以使用bash操作符和gsutil同时复制

我试图使用气流上传一个目录与拼花文件到地面军事系统。 为此我试过了

我尝试了以下选项:

选择1 src=/*.拼花地板

它出错了:没有找到这样的文件

选择2 src=->其中path是目录路径

它的错误是:是一个目录

问题

无论如何,FileToLoglecloudStorageOperator是否可以扩展到目录级别? 有没有其他方法可以做同样的事情? 简短回答:目前这是不可能的。但我将把它作为一个功能请求,并尝试在即将发布的版本中添加它

在此之前,您可以使用bash操作符和gsutil同时复制多个文件

另一种选择是使用PythonOperator,使用操作系统包列出文件并循环它们,然后使用GoogleCloudStorageHook.upload上传每个文件。

简短回答:目前不可能。但我将把它作为一个功能请求,并尝试在即将发布的版本中添加它

在此之前,您可以使用bash操作符和gsutil同时复制多个文件

另一种选择是使用PythonOperator,使用os包列出文件并循环它们,然后使用GoogleCloudStorageHook.upload上载每个文件