Google cloud storage 触发通过在GCP存储桶中创建云运行对象部署的数据流作业

Google cloud storage 触发通过在GCP存储桶中创建云运行对象部署的数据流作业,google-cloud-storage,google-cloud-dataflow,google-cloud-run,dataflow,Google Cloud Storage,Google Cloud Dataflow,Google Cloud Run,Dataflow,我已经创建了一个数据流管道,它从GCS bucket读取一个文件并对其进行处理。当我从本地服务器执行作业时,它正在工作 我在storage.object.create上使用触发器在云运行中部署了数据流作业 但当我上传GCS bucket中的任何文件时,日志中没有显示任何触发消息,或者数据流作业没有执行 触发器配置 我错过了什么?请提出建议。您的云运行服务未被触发的原因是,每当创建/上传对象到您的bucket时,可能不会写入审核日志。每当在审核日志上写入事件时,就会启动Eventarc触发器,默认

我已经创建了一个数据流管道,它从GCS bucket读取一个文件并对其进行处理。当我从本地服务器执行作业时,它正在工作

我在storage.object.create上使用触发器在云运行中部署了数据流作业

但当我上传GCS bucket中的任何文件时,日志中没有显示任何触发消息,或者数据流作业没有执行

触发器配置
我错过了什么?请提出建议。

您的云运行服务未被触发的原因是,每当创建/上传对象到您的bucket时,可能不会写入审核日志。每当在审核日志上写入事件时,就会启动Eventarc触发器,默认情况下,云存储处于禁用状态:

解决方案是为云存储启用审核日志。这可以通过两种方式实现:

  • 在第一次创建Eventarc触发器时启用它。
  • 或者转到IAM&Admin审核日志,并确保检查了云存储的所有字段:

  • 作为参考,可以在主页活动上查看审核日志,下面是一个示例:


    如果您没有Hi OP,可以查看本文,请提供更多详细信息。你的触发器配置是什么?你的水桶所在的地区/位置是什么?我们如何复制您的问题?另外,请注意,事件弧触发器在创建后最多需要10分钟才能工作。你能再次触发事件吗?我没有真正理解数据流和云运行之间的关系。您是否在Cloud run内部运行dataflow direct runner?@guillaumeblaquiere我正在制作映像后在Cloud run内部部署dataflow runner管道作业。当一个文件上传到gcs存储桶中时,我需要触发此作业。@DonnaldCucharo我在触发器创建后等待了10分钟,但触发器不适用于gcs对象创建。在问题描述中更新了触发器配置。这很有用,并且我的项目中没有为GCS启用云审计日志。启用后我会尝试一下。谢谢你的帮助。
    Ingress:Allow traffic
    Authentication:Allow authentication
    Event source:Cloud Storage
    Event type:google.cloud.audit.log.v1.written
    Create time:2021-02-12 (16:05:25)
    Receive events from:All regions (global)
    Service URL path:/
    Service account:sdas-pipeline@sdas-demo-project.iam.gserviceaccount.com
    Service name:storage.googleapis.com
    Method name:storage.objects.create