Google bigquery BigQuery流式插入数据可用性延迟

Google bigquery BigQuery流式插入数据可用性延迟,google-bigquery,Google Bigquery,我已经使用BigQuery大约两个月了。在此期间,我使用流式插入每分钟添加数千条条目。我能够在几分钟内查询这些数据,如果不是立即查询的话 但从几天前开始,我的一张表突然开始显示数据可用性延迟20到60分钟不等。这只发生在我的一个表中。插入到其他表中的数据几乎立即可用 这种数据可用性延迟对于BigQuery正常吗 遇到此问题的表是accuAudience.trackPlays。我会很高兴地提供项目ID和其他信息的谷歌团队成员 将数据流插入问题表的结果如下: {'kind':'bigquerytab

我已经使用BigQuery大约两个月了。在此期间,我使用流式插入每分钟添加数千条条目。我能够在几分钟内查询这些数据,如果不是立即查询的话

但从几天前开始,我的一张表突然开始显示数据可用性延迟20到60分钟不等。这只发生在我的一个表中。插入到其他表中的数据几乎立即可用

这种数据可用性延迟对于BigQuery正常吗

遇到此问题的表是accuAudience.trackPlays。我会很高兴地提供项目ID和其他信息的谷歌团队成员

将数据流插入问题表的结果如下:

{'kind':'bigquerytableDataInsertAllResponse'}

从问题表accuAudience.trackPlays按日期描述排序的查询示例:

行日期计数 1 2015-03-30 12:35:32 UTC 67 2 2015-03-30 12:35:31 UTC 65 3 2015-03-30 12:35:30 UTC 56 4 2015-03-30 12:35:29 UTC 45 5 2015-03-30 12:35:28 UTC 60

几秒钟后对不同的表accuAudience.trackSkips进行了相同的查询。注意日期字段比前面的查询提前30分钟

行日期计数 1 2015-03-30 13:04:03 UTC 1 2 2015-03-30 13:04:02 UTC 1 3 2015-03-30 13:04:01 UTC 3 4 2015-03-30 13:04:00 UTC 3 5 2015-03-30 13:03:59 UTC 6


如果需要其他信息,请告诉我

BigQuery定期运行后台维护任务,以优化查询表。其中一个后台任务导致流式处理出现问题。这导致我们在刷新流缓冲区之前无法读取流缓冲区。请注意,您可能已经将此视为一个持续的问题,而您正在不断地将数据流传输到表中


现在修好了。如果您继续看到问题,请告诉我们您看到问题的表格和项目。

这是第二个类似问题,我们需要BQ团队的正式答复,这可能是性能问题。请张贴您的项目和表格,所以当有人从BQ团队检查这一点,以便能够研究。链接其他问题:谢谢!我已经用表名更新了我的帖子,如果需要的话,我可以向谷歌团队成员提供我的项目ID和任何其他必要的信息。现在是2017年,流式数据仍然会延迟10分钟以上。对我来说,发送select*查询有助于查找数据。但为什么它会在流媒体缓冲区中停留数小时呢?两个类似的问题,供参考:谢谢你的解释!然而,我仍然看到这个问题。项目名称:hight-helix-809。表:accuAudience.TrackPlay我已经查看并修复了您的表的问题。如果此表或任何其他表的问题仍然存在,请告诉我。这是一次一次性更正,我们将运行更大规模的作业,以查找/更正可能受到类似影响的任何其他表。谢谢@SeanChen-看起来这样做了!我们不再看到这个问题了。谢谢你的帮助!