Java 如何在Google云平台中配置特定的数据管道？_Java_Spring_Google Cloud Platform_Google Cloud Storage

Java 如何在Google云平台中配置特定的数据管道？

java spring google-cloud-platform google-cloud-storage

Java 如何在Google云平台中配置特定的数据管道？,java,spring,google-cloud-platform,google-cloud-storage,Java,Spring,Google Cloud Platform,Google Cloud Storage,我有一个任务来实现一个在中运行的后端服务（Java/Spring）云运行并在GCP中创建（配置）一个数据管道，该管道将此服务用于自动处理正在上载到服务器的带有嵌入式架构的Avro文件云存储桶。当新文件上传到bucket时，我需要对其进行处理，并以特定的方式将其解析到BigQuery 所以，我成功地部署了Spring应用程序并设计了avro模式。我发现google有关于如何将avros加载到BigQuery的示例，我认为这可以应用于此任务我坚持上传事件（或者可能是数据管道配置？）。我真的不

我有一个任务来实现一个在中运行的后端服务（Java/Spring）云运行并在GCP中创建（配置）一个数据管道，该管道将此服务用于自动处理正在上载到服务器的带有嵌入式架构的Avro文件云存储桶。当新文件上传到bucket时，我需要对其进行处理，并以特定的方式将其解析到BigQuery

所以，我成功地部署了Spring应用程序并设计了avro模式。我发现google有关于如何将avros加载到BigQuery的示例，我认为这可以应用于此任务

我坚持上传事件（或者可能是数据管道配置？）。我真的不知道如何处理文件上传事件（我想我需要在上传新文件时获取它的URI）。我试图阅读有关谷歌数据流的文章，但我不认为这是我的任务所需要的。你能给我一些建议我应该怎么做吗。

选择之一是使用云功能。另一个选择是订阅。还有一个选择是使用Google的CloudDataflow Runner

在重载情况下，有时触发事件可能会被复制，因此您需要确保单个文件不会被您的云功能多次处理。

谢谢@Sergey，我刚刚读了一些关于云功能的文章，但我非常感谢您提到了另外两种方法