Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 从Google云存储中移出/流式传输数据_Google Cloud Platform_Google Cloud Storage_Google Cloud Dataflow_Dataflow - Fatal编程技术网

Google cloud platform 从Google云存储中移出/流式传输数据

Google cloud platform 从Google云存储中移出/流式传输数据,google-cloud-platform,google-cloud-storage,google-cloud-dataflow,dataflow,Google Cloud Platform,Google Cloud Storage,Google Cloud Dataflow,Dataflow,将数据移出谷歌云存储的最佳方式是什么?此外,Dataflow是否提供了将数据从Google云存储流式传输到GCP外部的功能?将数据移出Google云存储的最佳方法可能是使用gsutil工具,或者您可以使用它们提供的python和boto插件,以简化操作,您将在该链接中找到这方面的详细信息。 . 至于问题的第二部分,Kafka现在可以连接到云数据流,我认为您可以使用它从GCP流式传输数据。Apache Beam从2016年开始支持卡夫卡约。我想下面的链接会帮助你很多 我们可以使用运行在GCP中的

将数据移出谷歌云存储的最佳方式是什么?此外,Dataflow是否提供了将数据从Google云存储流式传输到GCP外部的功能?

将数据移出Google云存储的最佳方法可能是使用gsutil工具,或者您可以使用它们提供的python和boto插件,以简化操作,您将在该链接中找到这方面的详细信息。 . 至于问题的第二部分,Kafka现在可以连接到云数据流,我认为您可以使用它从GCP流式传输数据。Apache Beam从2016年开始支持卡夫卡约。我想下面的链接会帮助你很多


我们可以使用运行在GCP中的Spring应用程序将数据移出Google云存储吗?您能告诉我Spring应用程序正在做什么吗?如果我正确理解您的问题,可以部署Spring应用程序,并期望它像在GCP中的正常情况一样。如果您想使用它捆绑和使用hadoop的组件,然后,您可以使用Cloud Dataproc,在任何其他情况下,它都可以部署在计算实例中,并期望得到与我们在任何其他分布式环境中所做的相同的结果。Usecase-1-我尝试使用云数据流从Pub Sub流式传输数据,然后使用JDBCIO将数据写入prem DB或TextIO将文件写入prem服务器。请让我知道它是否可行?是的,它非常可行。您将需要on-prem集群上的googlecloudsdk。