Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform GCP数据流发布/订阅到云存储上的文本文件_Google Cloud Platform_Google Cloud Dataflow - Fatal编程技术网

Google cloud platform GCP数据流发布/订阅到云存储上的文本文件

Google cloud platform GCP数据流发布/订阅到云存储上的文本文件,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我指的是谷歌提供的数据流 数据流读取的消息不会得到确认。我们如何确保数据流使用的消息得到确认,并且不可供任何其他订阅者使用 要复制和测试它,请从同一模板创建两个作业,您将看到这两个作业处理相同的消息。首先,消息是正确的 然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为 一个或多个发布者发布主题中的消息 可以对一个主题创建一个或多个订阅 主题中发布的所有消息都会复制到每个订阅中 订阅可以有一个或多个订阅服务器 每个订阅者接收订阅中消息的子集 返回模板。您只指定主题

我指的是谷歌提供的数据流

数据流读取的消息不会得到确认。我们如何确保数据流使用的消息得到确认,并且不可供任何其他订阅者使用


要复制和测试它,请从同一模板创建两个作业,您将看到这两个作业处理相同的消息。

首先,消息是正确的

然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为

  • 一个或多个发布者发布主题中的消息
  • 可以对一个主题创建一个或多个订阅
  • 主题中发布的所有消息都会复制到每个订阅中
  • 订阅可以有一个或多个订阅服务器
  • 每个订阅者接收订阅中消息的子集

返回模板。您只指定主题,不指定订阅。当您的数据流运行时,转到订阅,您将能够看到创建的新订阅

->启动PubSub to TextFiles模板时,将自动为提供的主题创建订阅

因此,如果创建2个作业,您将有2个订阅,因此,主题中发布的所有消息都将复制到每个订阅中。这就是为什么你会收到两次相同的消息


现在,继续你的工作,去订阅。在这里,您可以看到队列中的消息数和未确认的消息数。您应该在未确认的消息图中看到0。

首先,消息已正确确认

然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为

  • 一个或多个发布者发布主题中的消息
  • 可以对一个主题创建一个或多个订阅
  • 主题中发布的所有消息都会复制到每个订阅中
  • 订阅可以有一个或多个订阅服务器
  • 每个订阅者接收订阅中消息的子集

返回模板。您只指定主题,不指定订阅。当您的数据流运行时,转到订阅,您将能够看到创建的新订阅

->启动PubSub to TextFiles模板时,将自动为提供的主题创建订阅

因此,如果创建2个作业,您将有2个订阅,因此,主题中发布的所有消息都将复制到每个订阅中。这就是为什么你会收到两次相同的消息

现在,继续你的工作,去订阅。在这里,您可以看到队列中的消息数和未确认的消息数。您应该在未确认的消息图中看到0