Google cloud storage 如何在新文件放入地面军事系统存储桶后，通过数据流从该存储桶接收数据？_Google Cloud Storage_Google Cloud Dataflow_Gcp

Google cloud storage 如何在新文件放入地面军事系统存储桶后，通过数据流从该存储桶接收数据？

google-cloud-storage google-cloud-dataflow

Google cloud storage 如何在新文件放入地面军事系统存储桶后，通过数据流从该存储桶接收数据？,google-cloud-storage,google-cloud-dataflow,gcp,Google Cloud Storage,Google Cloud Dataflow,Gcp,我有一个用例，我需要从google云存储桶中输入数据，只要数据以新文件的形式通过数据流在存储桶中可用如何在新数据（文件）可用或添加到存储桶后立即触发数据流作业的执行？如果管道是用Java编写的，则可以使用和我假设您使用的是1.x SDK（2.x也可以）编写管道并指定“TemplatingDataflowPipelineRunner”作为运行程序编写一个云函数，该函数被设置为侦听和响应到达bucket的新对象（在本例中为CSV文件） Cloud函数启动数据流管道，并将新文件的名称作为参数传

我有一个用例，我需要从google云存储桶中输入数据，只要数据以新文件的形式通过数据流在存储桶中可用

如何在新数据（文件）可用或添加到存储桶后立即触发数据流作业的执行？

如果管道是用Java编写的，则可以使用和

我假设您使用的是1.x SDK（2.x也可以）

编写管道并指定“TemplatingDataflowPipelineRunner”作为运行程序

编写一个云函数，该函数被设置为侦听和响应到达bucket的新对象（在本例中为CSV文件）

Cloud函数启动数据流管道，并将新文件的名称作为参数传递给它

有关如何构建此管道的演练，请参见全面披露：我为Shine工作。

您是想在新文件到达时启动一个新的批处理作业，还是想让流式作业在文件到达时处理文件？从批处理作业开始。谢谢。您的管道是用Java还是用Python编写的？它们是用Java编写的