Google cloud platform GCP数据流发布/订阅到云存储上的文本文件
我指的是谷歌提供的数据流 数据流读取的消息不会得到确认。我们如何确保数据流使用的消息得到确认,并且不可供任何其他订阅者使用Google cloud platform GCP数据流发布/订阅到云存储上的文本文件,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我指的是谷歌提供的数据流 数据流读取的消息不会得到确认。我们如何确保数据流使用的消息得到确认,并且不可供任何其他订阅者使用 要复制和测试它,请从同一模板创建两个作业,您将看到这两个作业处理相同的消息。首先,消息是正确的 然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为 一个或多个发布者发布主题中的消息 可以对一个主题创建一个或多个订阅 主题中发布的所有消息都会复制到每个订阅中 订阅可以有一个或多个订阅服务器 每个订阅者接收订阅中消息的子集 返回模板。您只指定主题
要复制和测试它,请从同一模板创建两个作业,您将看到这两个作业处理相同的消息。首先,消息是正确的 然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为
- 一个或多个发布者发布主题中的消息
- 可以对一个主题创建一个或多个订阅
- 主题中发布的所有消息都会复制到每个订阅中
- 订阅可以有一个或多个订阅服务器
- 每个订阅者接收订阅中消息的子集
返回模板。您只指定主题,不指定订阅。当您的数据流运行时,转到订阅,您将能够看到创建的新订阅 ->启动PubSub to TextFiles模板时,将自动为提供的主题创建订阅 因此,如果创建2个作业,您将有2个订阅,因此,主题中发布的所有消息都将复制到每个订阅中。这就是为什么你会收到两次相同的消息
现在,继续你的工作,去订阅。在这里,您可以看到队列中的消息数和未确认的消息数。您应该在未确认的消息图中看到0。首先,消息已正确确认 然后,为了证明这一点,以及你的复制是如何错误的,我想重点关注PubSub行为
- 一个或多个发布者发布主题中的消息
- 可以对一个主题创建一个或多个订阅
- 主题中发布的所有消息都会复制到每个订阅中
- 订阅可以有一个或多个订阅服务器
- 每个订阅者接收订阅中消息的子集
返回模板。您只指定主题,不指定订阅。当您的数据流运行时,转到订阅,您将能够看到创建的新订阅 ->启动PubSub to TextFiles模板时,将自动为提供的主题创建订阅 因此,如果创建2个作业,您将有2个订阅,因此,主题中发布的所有消息都将复制到每个订阅中。这就是为什么你会收到两次相同的消息 现在,继续你的工作,去订阅。在这里,您可以看到队列中的消息数和未确认的消息数。您应该在未确认的消息图中看到0