Streaming Bigquery流数据延迟

Streaming Bigquery流数据延迟,streaming,google-bigquery,delay,Streaming,Google Bigquery,Delay,我正在将数据流式传输到bigquery表中,由于某些原因,前几次我检查数据是否无法立即使用。流式数据最终可以查询,有时看起来不同步超过一个小时。但经过一些延迟之后,数据最终还是出现了 这是预期的吗?如果是,有什么办法可以解决?表是按日期分区的,我们没有将数据“加载”到任何特定的分区中,我们只对当天的数据进行流式处理 更新: 当我说数据不可用时,我的意思是运行以下查询似乎与将数据推送到Bigquery的日期/时间不匹配 select max(dateTime) from [nproj.repo

我正在将数据流式传输到bigquery表中,由于某些原因,前几次我检查数据是否无法立即使用。流式数据最终可以查询,有时看起来不同步超过一个小时。但经过一些延迟之后,数据最终还是出现了

这是预期的吗?如果是,有什么办法可以解决?表是按日期分区的,我们没有将数据“加载”到任何特定的分区中,我们只对当天的数据进行流式处理

更新:

当我说数据不可用时,我的意思是运行以下查询似乎与将数据推送到Bigquery的日期/时间不匹配

select   max(dateTime) from [nproj.reporting] ;

张贴你的项目名称,也许工程师可以检查一下。当你说“数据不可用”是什么意思?如果表已分区,\ u PARTITIONTIME将为NULL,而数据仍在流式处理系统中,因此,如果进行筛选,请确保在WHERE子句中包含\u PARTITIONTIME is NULL。@MoshaPasumansky更新了上述内容,查询似乎没有显示最新的日期时间,而看起来是延迟的。这在几周前是有效的。我已明确禁用UI中的缓存。如果您可以共享未返回最新数据的最近作业的作业id,我们可以查看一下。@PavanEdara-作业id oandmpoc:bquijob_2c54d34_15712; BDED50开始时间2016年9月10日,上午8:17:01结束时间2016年9月10日,上午8:17:02 AMPost您的项目名称可能会被工程师检查。当您说“数据不可用“-这是什么意思?如果表已分区,\ u PARTITIONTIME将为NULL,而数据仍在流式处理系统中,因此,如果进行筛选,请确保在WHERE子句中包含\u PARTITIONTIME is NULL。@MoshaPasumansky更新了上述内容,查询似乎没有显示最新的日期时间,而看起来是延迟的。这在几周前是有效的。我已明确禁用UI中的缓存。如果您可以共享未返回最新数据的最近作业的作业id,我们可以查看。@PavanEdara-作业id oandmpoc:bquijob_2c54d34_15712; BDED50开始时间2016年9月10日,8:17:01 AM结束时间2016年9月10日,8:17:02 AM