如何读取谷歌云存储CSV并将其加载到谷歌数据存储

如何读取谷歌云存储CSV并将其加载到谷歌数据存储,csv,google-cloud-platform,google-cloud-datastore,google-cloud-storage,gcsfuse,Csv,Google Cloud Platform,Google Cloud Datastore,Google Cloud Storage,Gcsfuse,请告诉我如何从谷歌存储(CSV)文件读取到云数据存储 我已经通过AppEngine编写了Java代码,可以在一次调用中加载一行。同样,我希望获得一些示例代码,以便一次性将批量(从CSV读取)加载到数据存储 请告诉我如何从谷歌存储(CSV)文件读取到云数据存储 为了从Google云存储中读取数据并加载到云数据存储项目中,您可以使用两种不同的解决方法 使用apachebeam 正如本文中提到的,您可以使用apachebeam使用TextIO类读取CSV文件 接下来,您需要应用一个转换,该转换将解析C

请告诉我如何从谷歌存储(CSV)文件读取到云数据存储

我已经通过AppEngine编写了Java代码,可以在一次调用中加载一行。同样,我希望获得一些示例代码,以便一次性将批量(从CSV读取)加载到数据存储

请告诉我如何从谷歌存储(CSV)文件读取到云数据存储

为了从Google云存储中读取数据并加载到云数据存储项目中,您可以使用两种不同的解决方法

使用apachebeam 正如本文中提到的,您可以使用apachebeam使用
TextIO
类读取CSV文件

接下来,您需要应用一个转换,该转换将解析CSV文件中的每一行,并返回一个
实体
对象

在本文中,您将看到一个如何基于CSV文件构建
实体的示例

最后,将实体对象写入云数据存储

使用数据流 您可以使用数据流。谷歌提供了一套开源的数据流模板,你可以使用这些模板来实现你想要的东西

就模板而言,您可以使用

云存储文本到数据存储模板是一个批处理管道,它从存储在云存储中的文本文件中读取,并将JSON编码的实体写入数据存储。输入文本文件中的每一行都应采用中指定的JSON格式

我强烈建议使用第一个选项,因为它看起来很好,并且得到了批准

如果它不起作用,您可以尝试使用数据流模板从Google云存储读取到云数据存储


希望能有帮助。

谢谢克里斯托普的帮助。我已经看到了第一个选项,它是用Python编写的,但是如果你能用Java编写,那就太好了,这将有助于我重新开始。此外,您还可以查看使用的方法