Google bigquery 可以在bigquery预览我的流媒体数据吗

Google bigquery 可以在bigquery预览我的流媒体数据吗,google-bigquery,Google Bigquery,可以在bigquery预览我的流媒体数据吗 我使用bigquery来存储我的流数据,但这些数据将进入流缓冲区,这意味着我无法预览这些数据。在执行任何查询之前,是否有任何方法可以预览此数据?如果问题是成本问题,则可以使用表装饰器扫描“最后x毫秒”,而不是执行整个表/列扫描 例如,此查询显示GDELT记录的最后15分钟,成本为132 MB(而不是没有@-900000-装饰器的2.91 TB): 您可以通过-in属性查看流式缓冲区统计信息 或者在Web UI中 正如Felipe所指出的,只要您最近没有

可以在bigquery预览我的流媒体数据吗


我使用bigquery来存储我的流数据,但这些数据将进入流缓冲区,这意味着我无法预览这些数据。在执行任何查询之前,是否有任何方法可以预览此数据?

如果问题是成本问题,则可以使用表装饰器扫描“最后x毫秒”,而不是执行整个表/列扫描

例如,此查询显示GDELT记录的最后15分钟,成本为132 MB(而不是没有
@-900000-
装饰器的2.91 TB):


您可以通过-in属性查看流式缓冲区统计信息

或者在Web UI中


正如Felipe所指出的,只要您最近没有以任何其他方式添加数据,就可以用范围操作符来伪造它。对于空(或小)表,还可以在命令行上使用
bq head
。流式缓冲区的内容显示在tabledata.list操作中,这对于大型表来说是不切实际的。缓冲区中的行可用于查询,这让我有点惊讶。不知怎的,在它们从缓冲区冲出之前,我以为它们不是。我需要以某种方式对其进行测试,以使自己对这个想法感到满意。谢谢你强调我的这一点具体的行为记录在这里:我想我现在看到了。所以流缓冲区只是延迟新数据的复制和导出。但对于查询,数据是实时可用的。谢谢@AdamLydick-我对此有点悲观:o)我注意到了这个功能,我想你需要几分钟才能在你的bigquery页面上看到这些信息,所以有点烦人…我明白你的意思,但我在想,如果我想把我的BigQuery交给我的同事,而他们想自己做一些查询,那么如果他们能够在构建查询之前可视化我的流表结构,这将非常有用。根据您的回答,我想我将为他们构建一个小查询,以可视化我的表结构。
SELECT *
FROM [gdelt-bq:gdeltv2.gkg@-900000-]
LIMIT 1000