Google cloud dataflow 如何验证发送到PubSub的所有消息是否已正确发送?

Google cloud dataflow 如何验证发送到PubSub的所有消息是否已正确发送?,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Dataflow,Google Cloud Pubsub,我正在运行一个数据流管道,它从PubSub读取数据并写入BigQuery。当我尝试验证所有消息是否都已写入BigQuery时,我意识到有些消息丢失 如何验证发送到PubSub的所有消息是否已正确发送?如果您在PubSub发布服务器(cloud.google.com/PubSub/publisher)上获得了正常响应,则应表示这些消息已正确发送。您可以尝试在发布服务器上记录所有已发布的消息ID,并在管道中记录所有已接收的消息ID(例如,将它们放入BigQuery列)。如果您在PubSub发布服务器

我正在运行一个数据流管道,它从PubSub读取数据并写入BigQuery。当我尝试验证所有消息是否都已写入BigQuery时,我意识到有些消息丢失


如何验证发送到PubSub的所有消息是否已正确发送?

如果您在PubSub发布服务器(cloud.google.com/PubSub/publisher)上获得了正常响应,则应表示这些消息已正确发送。您可以尝试在发布服务器上记录所有已发布的消息ID,并在管道中记录所有已接收的消息ID(例如,将它们放入BigQuery列)。

如果您在PubSub发布服务器(cloud.google.com/PubSub/publisher)上获得了OK响应,则表示它们已正确发送。您可以尝试在发布服务器上记录所有已发布的消息ID,并在管道中记录所有已接收的消息ID(例如,将它们放入BigQuery列)。

如果您在PubSub发布服务器()上获得了OK响应,则应表示它们已正确发送。您可以尝试在发布服务器上记录所有已发布的消息ID,并在管道中记录所有已接收的消息ID(例如,将它们放入BigQuery列)。缺少的消息占多大比例?如果您在PubSub publisher()上得到的响应是OK,则表示它们已正确发送。您可以尝试在发布服务器上记录所有已发布的消息ID,并在管道中记录所有已接收的消息ID(例如,将它们放入BigQuery列)。少了多少信息?