Google cloud dataflow 如何创建从云存储上的JSON文件到数据存储的数据流管道

Google cloud dataflow 如何创建从云存储上的JSON文件到数据存储的数据流管道,google-cloud-dataflow,Google Cloud Dataflow,我是GCP新手,需要以下方面的帮助: 我有一个.json文件上传到云存储,需要将数据移动到云数据存储中进行解析/查询 我认为一个大型数据集可能需要很长时间才能从本机导入,所以我们对使用数据流进行转换和加载很感兴趣。 任何想法或帮助都将不胜感激。这是一个相当简单的问题。您需要: 在此处查看编写数据流管道的基础知识: 从地面军事系统读取: 将JSON转换为实体: (或类似) 写入数据存储 希望这有帮助

我是GCP新手,需要以下方面的帮助: 我有一个.json文件上传到云存储,需要将数据移动到云数据存储中进行解析/查询

我认为一个大型数据集可能需要很长时间才能从本机导入,所以我们对使用数据流进行转换和加载很感兴趣。
任何想法或帮助都将不胜感激。

这是一个相当简单的问题。您需要:

  • 在此处查看编写数据流管道的基础知识:

  • 从地面军事系统读取:

  • 将JSON转换为实体: (或类似)

  • 写入数据存储

  • 希望这有帮助