Google cloud platform GCP数据流的推送与拉送

Google cloud platform GCP数据流的推送与拉送,google-cloud-platform,apache-beam,google-cloud-pubsub,dataflow,Google Cloud Platform,Apache Beam,Google Cloud Pubsub,Dataflow,我想知道,为了处理来自pubsub主题的高频数据,应该在GCP pubsub中创建什么类型的订阅。 我将以每秒100多条消息的速度接收数据流中的数据。 拉订阅或推订阅是否真的很重要,以及它将如何影响速度和所有内容。如果您使用带有数据流的PubSub订阅,则只能使用拉订阅 要么创建一个,要么在数据流管道的参数中指定它 或者,您只指定数据流管道中的主题,数据流将自行创建请求订阅。 如果两种情况都存在,数据流将以流模式处理消息 区别 如果您自己创建订阅,则默认情况下,所有消息将被存储并保留7天,并在数

我想知道,为了处理来自pubsub主题的高频数据,应该在GCP pubsub中创建什么类型的订阅。 我将以每秒100多条消息的速度接收数据流中的数据。
拉订阅或推订阅是否真的很重要,以及它将如何影响速度和所有内容。

如果您使用带有数据流的PubSub订阅,则只能使用拉订阅

要么创建一个,要么在数据流管道的参数中指定它 或者,您只指定数据流管道中的主题,数据流将自行创建请求订阅。 如果两种情况都存在,数据流将以流模式处理消息

区别

如果您自己创建订阅,则默认情况下,所有消息将被存储并保留7天,并在数据流管道启动时被使用

如果让数据流创建订阅,则只有在创建订阅之后到达的消息才会被数据流管道使用。如果您不想散播消息,这不是推荐的解决方案。如果你不在乎旧的信息,这是一个很好的选择

高频

那么,每秒100条消息绝对不是很频繁。1 pubsub主题每秒最多可接收1 000 000条消息。别担心

推还是拉

模式不同

使用推送订阅,您必须在GCP或其他使用消息的地方指定HTTP端点。这是一个网钩模式。如果平台端点随着流量云的运行而自动伸缩,例如,云功能,消息速率可能会非常高!!HTTP返回码表示消息确认。 使用Pull subscription,客户端需要打开到订阅的连接,然后拉取消息。客户端需要明确地确认消息。可以同时连接多个客户端。有了客户端库,消息可以通过gRPC协议进行消费,从网络带宽的角度来看,接收和消费消息更有效 安全观点

使用push,如果端点需要身份验证,则它是要在HTTP端点上进行身份验证的PubSub


使用pull,需要在PubSub订阅上对客户端进行身份验证。

欢迎使用stackoverflow=请检查如何提出一个好问题:。多花几分钟让你的问题变得清晰具体,这将极大地改善别人回答问题时所做的改变,而且答案是有帮助的。