Google cloud platform 从本地运行的java应用程序获取数据到google云应用程序并返回

Google cloud platform 从本地运行的java应用程序获取数据到google云应用程序并返回,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我想深入到分布式系统、云计算、物联网等领域,老实说,我想象一切都比最终的结果更加直观。 我脑子里有一个小小的测试架构,我想用谷歌云和他们的服务来建立这个架构,但我有点被卡住了,因为我无法理解一些概念 我基本上想做的(作为第一步)是编写一个简单的java应用程序,在我的计算机上本地运行。这个应用程序应该只生成随机数,然后以某种方式将这些数字发送到谷歌云。在云上,我想定义另一个java应用程序,以某种方式操纵这些随机数(实际上这并不重要)。之后,输出当然会以某种方式返回给我。事实上,目前,我甚至不在

我想深入到分布式系统、云计算、物联网等领域,老实说,我想象一切都比最终的结果更加直观。 我脑子里有一个小小的测试架构,我想用谷歌云和他们的服务来建立这个架构,但我有点被卡住了,因为我无法理解一些概念

我基本上想做的(作为第一步)是编写一个简单的java应用程序,在我的计算机上本地运行。这个应用程序应该只生成随机数,然后以某种方式将这些数字发送到谷歌云。在云上,我想定义另一个java应用程序,以某种方式操纵这些随机数(实际上这并不重要)。之后,输出当然会以某种方式返回给我。事实上,目前,我甚至不在乎到底有多准确。它可能会以某种方式回到我的本地应用程序(有某种侦听器,这可能吗?)。但它也可以简单地将结果存储在谷歌云上的某个地方?或者把它们上传到我的谷歌硬盘上

我想你已经注意到了——在某些时候——我甚至不知道我到底想要什么,因为我不确定什么是可能的,什么不是

你能帮我安装一下吗? 我现在最重要的问题是:

  • 我是否需要使用pubsub系统发送生成的号码 然后将其转发到云应用程序,该应用程序将转换我的 数据
  • 如何将数据从本地应用程序传输到云服务
  • 我的数据转换应用程序会在谷歌数据流上运行吗
  • 上面我写了“作为第一步”。。。因为稍后我还要将配置文件(例如json格式或xml)发送到云,并且 云应用程序应该转换这些配置文件。。。如果我得到 第一个场景运行我想这也不会有问题 对吧?
这些只是我目前考虑的几个问题。我想是最重要的

这将是一个很大的帮助。对不起,如果问题不是很精确,但我真的需要一些指向正确方向的东西


提前谢谢你

我认为最好阅读一下您在这里提到的一些技术:

  • :Pub/Sub使您能够将消息发布到主题,并在(谷歌)云中的其他位置使用它们。你可以在链接中看到出版商和消费者的一些不同例子。例如,在您的例子中,您可以编写一个Java应用程序,将随机数写入发布/订阅队列,在那里它们将被另一个组件(例如,Google Cloud Dataflow)使用7天。要开始开发,您可以找到SDK(有一个JavaSDK)
  • 托管服务正在运行管道以大规模处理您的数据。您可以了解不同的概念并开始设计管道。不过,我建议先看一些例子,这样更容易掌握实际情况。Dataflow有一个PubSub连接器,因此在应用程序中,您可以阅读以前创建的主题。例如,在数据流中,您可以将所有随机数相乘,然后将它们写入某个接收器(例如Google Cloud Storage,甚至BigQuery或PubSub)
  • :是一种云存储,您可以在其中放置文件,例如数据流管道的输出。您可以使用云控制台UI手动下载文件,也可以使用其中一个以编程方式下载输出
希望这能给你一个概述和一些开始的指导。无论何时,只要您准备好了,并且考虑到了更具体的用例,您就可以开始查看更多的组件