Google bigquery bigquery蒸汽缓冲区持续多长时间

Google bigquery bigquery蒸汽缓冲区持续多长时间,google-bigquery,Google Bigquery,目前,我正在将数据从sql server数据库systme迁移到bigquery,在尝试从具有活动流式缓冲区的bigquery表中删除记录时遇到了一个问题,您能否确认流式缓冲区在删除之前会保留多长时间,以便对其运行删除操作?我发现这在开发过程中造成了不必要的不便 非常感谢你的帮助,我期待着收到你的来信 致以最诚挚的问候,根据官方文件 数据最多需要90分钟才能用于复制和导出操作。此外,当流式传输到分区表时,流式传输缓冲区中的数据在_PARTITIONTIME伪列中有一个空值。要查看数据是否可用于复

目前,我正在将数据从sql server数据库systme迁移到bigquery,在尝试从具有活动流式缓冲区的bigquery表中删除记录时遇到了一个问题,您能否确认流式缓冲区在删除之前会保留多长时间,以便对其运行删除操作?我发现这在开发过程中造成了不必要的不便

非常感谢你的帮助,我期待着收到你的来信


致以最诚挚的问候,

根据官方文件

数据最多需要90分钟才能用于复制和导出操作。此外,当流式传输到分区表时,流式传输缓冲区中的数据在_PARTITIONTIME伪列中有一个空值。要查看数据是否可用于复制和导出,请检查表。获取名为
streamingBuffer
的部分的响应。如果缺少该部分,则数据应可用于复制或导出,并且_PARTITIONTIME伪列应具有非空值。此外,还可以利用
streamingBuffer.oldesentrytime
字段来标识流式缓冲区中记录的年龄

流到分区表中

当数据流化时,过去7天到未来3天之间的数据被放入流化缓冲区,然后被提取到相应的分区。此窗口之外(但在1年6个月范围内)的数据被放置在流式缓冲区中,然后被提取到未分区的分区。当有足够的未分区数据时,会将其加载到相应的分区

我们通过延迟删除请求或每24小时执行一次来克服您的情况。您现在可以编写delete查询脚本,将
streamingBuffer.oldesentrytime
用作参数,并尝试删除任何早于此的内容


非常感谢。是的,当我在90分钟后尝试删除操作并成功通过时,蒸汽缓冲区似乎只持续90分钟。顺致敬意,