Airflow 为什么googlecloudstorageobjectsensor没有搜索部分对象名称(例如:file*.csv)

Airflow 为什么googlecloudstorageobjectsensor没有搜索部分对象名称(例如:file*.csv),airflow,Airflow,气流中的gcs_传感器不适用于部分对象名称。 例如,在object中,我给出了myfile*,但它不起作用。 你能推荐一个在谷歌云存储中使用部分名称进行搜索的解决方案吗 file_watcher = GoogleCloudStorageObjectSensor( task_id='filesensor', bucket='poc-1', object='myfile*', google_cloud_conn_id='google_cloud_default',

气流中的gcs_传感器不适用于部分对象名称。 例如,在object中,我给出了myfile*,但它不起作用。 你能推荐一个在谷歌云存储中使用部分名称进行搜索的解决方案吗

file_watcher = GoogleCloudStorageObjectSensor(
    task_id='filesensor',
    bucket='poc-1',
    object='myfile*',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)

您可能需要查看
谷歌CloudStoragePrefixSensor

参考:


这能让dag活着吗?或者这只是检查然后成功/失败?Thanks@arcee123它保持dag运行直到文件到达,一旦文件到达,它就被标记为成功。如果您想等待更长的时间,以防另一个文件在一段时间后到达,您也可以使用TimeDeltaSensor。
file_watcher = GoogleCloudStoragePrefixSensor(
    task_id='filesensor',
    bucket='poc-1',
    prefix='myfile',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)