Airflow 气流:将本地文件复制到地面军事系统
我正在使用Airflow将文件从本地复制到GCS,这是使用FileToLoglecloudStorageOperator实现的 我的代码:Airflow 气流:将本地文件复制到地面军事系统,airflow,Airflow,我正在使用Airflow将文件从本地复制到GCS,这是使用FileToLoglecloudStorageOperator实现的 我的代码: dag = DAG('file-gcs-demo', catchup=False, default_args=default_args) cloud_storage_bucket_name = 'composerdemo-bucket' t1 = FileToGoogleCloudStorageOperator( task_id = 'copy-
dag = DAG('file-gcs-demo', catchup=False, default_args=default_args)
cloud_storage_bucket_name = 'composerdemo-bucket'
t1 = FileToGoogleCloudStorageOperator(
task_id = 'copy-file-gcs',
src = '/Users/jw/data.json',
dst = '/data',
bucket = cloud_storage_bucket_name,
gcp_conn_id = 'google_cloud_default',
dag = dag
)
t1
DAG成功运行,当我签入GCS时,我可以看到在我的bucket中创建的/data文件夹,但该文件夹为空,没有复制任何文件。知道为什么会发生这种情况吗?更改dst=
在文件夹中包含对象名,例如dst=“data/data.json”
更改dst=
在文件夹中包含对象名,例如dst=“data/data.json”