Google bigquery 使用SQL的BigQuery数据;在“;过了一段时间就走了

Google bigquery 使用SQL的BigQuery数据;在“;过了一段时间就走了,google-bigquery,Google Bigquery,今天我注意到BigQuery的另一个奇怪行为。 我在BQ web ui中运行UDF标准SQL: CREATE TEMPORARY FUNCTION ... INSERT INTO projectid.dataset.inserttable... 一切似乎都很好,UDF SQL的结果被插入到insert表中是正确的,我可以从“行数”中看出。但是表大小不正确,在运行insert查询之前仍保留表大小。此外,我发现所有插入的行在1小时后都消失了 我发现了更多的信息,当运行“DETELE FROM in

今天我注意到BigQuery的另一个奇怪行为。 我在BQ web ui中运行UDF标准SQL:

CREATE TEMPORARY FUNCTION ...
INSERT INTO projectid.dataset.inserttable...
一切似乎都很好,UDF SQL的结果被插入到insert表中是正确的,我可以从“行数”中看出。但是表大小不正确,在运行insert查询之前仍保留表大小。此外,我发现所有插入的行在1小时后都消失了

我发现了更多的信息,当运行“DETELE FROM insert table true”或“SELECT…”时,删除的行数和表大小似乎与插入的数据一致。但是无法在WEB UI中正确预览插入表


那么我猜表的“细节”或“预览”信息有时间延迟吗?我可以知道你对这种行为有什么想法吗?

预览可能会有延迟,因此
从你的表中选择*
将提供最新的结果,或者您可以使用
COUNT(*)
来验证行数是否正确。如果您已经尝试过,您可以将其视为类似于流式处理,其中一些行可能在流式处理缓冲区中存在一段时间,然后才进入常规存储。

预览可能会有延迟,因此
从您的表中选择*
将提供最新的结果,或者您可以使用
COUNT(*)
来验证行数是否正确。如果您已经尝试过,您可以将其视为类似于流式处理,其中一些行可能会在流式处理缓冲区中保留一段时间,然后才能进入常规存储。

感谢您的回复。但是为什么行数第一次看起来是正确的,我也可以在web ui中预览表,但是数据在大约1小时内就消失了?这与BQ中的数据稳定有关吗?即使要插入的数据只有100行,也会出现此问题。请澄清您的意思——数据是从表中消失的(如果执行
选择*…
),还是从预览中消失的?插入的数据总是稳定的。如果插入成功,您可以立即运行另一个查询并查看最新数据。否,数据没有从表中消失,我可以正确运行“删除”和“选择”。在web ui中检查时,数据从“详细信息”和“预览”中“消失”。我说它消失了,因为在运行“insert-into”查询之后,数据确实在“Detail”和“Preview”中显示了正确的信息,但是在一段时间后,行被扣除。这就是为什么我觉得奇怪。我后来还发现,在运行“插入到”查询时,“表大小”和“上次修改”始终没有更新。您不能依赖于表的预览是最新的。正如我在回答中提到的,它类似于流媒体,在提交修改之前需要一些时间,因此您需要运行查询以查看最新的数据。感谢您耐心的解释。是的,我知道它迟迟不能实施。我的观点是:如果它有延迟,那么它首先不应该在“细节”和“预览”中显示正确的行,对吗?“详细信息”和“预览”仅在运行“插入到”之后显示正确的行,但随后该编号更改为“插入到”之前的行号。这对我来说很奇怪。好的,让我们假设以上所有都是运行BQ时的正常性能。我可以知道修改提交并在预览中正确显示通常需要多长时间吗?谢谢你的回复。但是为什么行数第一次看起来是正确的,我也可以在web ui中预览表,但是数据在大约1小时内就消失了?这与BQ中的数据稳定有关吗?即使要插入的数据只有100行,也会出现此问题。请澄清您的意思——数据是从表中消失的(如果执行
选择*…
),还是从预览中消失的?插入的数据总是稳定的。如果插入成功,您可以立即运行另一个查询并查看最新数据。否,数据没有从表中消失,我可以正确运行“删除”和“选择”。在web ui中检查时,数据从“详细信息”和“预览”中“消失”。我说它消失了,因为在运行“insert-into”查询之后,数据确实在“Detail”和“Preview”中显示了正确的信息,但是在一段时间后,行被扣除。这就是为什么我觉得奇怪。我后来还发现,在运行“插入到”查询时,“表大小”和“上次修改”始终没有更新。您不能依赖于表的预览是最新的。正如我在回答中提到的,它类似于流媒体,在提交修改之前需要一些时间,因此您需要运行查询以查看最新的数据。感谢您耐心的解释。是的,我知道它迟迟不能实施。我的观点是:如果它有延迟,那么它首先不应该在“细节”和“预览”中显示正确的行,对吗?“详细信息”和“预览”仅在运行“插入到”之后显示正确的行,但随后该编号更改为“插入到”之前的行号。这对我来说很奇怪。好的,让我们假设以上所有都是运行BQ时的正常性能。我可以知道修改提交并在预览中正确显示通常需要多长时间吗?谢谢