Google bigquery 将数据流式传输到bigquery只返回部分数据

Google bigquery 将数据流式传输到bigquery只返回部分数据,google-bigquery,Google Bigquery,我正在将数据流式传输到bigquery中,日志根本没有记录任何问题,当我运行“SELECT*FROMdatatableWHERE\u PARTITIONTIME=TIMESTAMP(“2018-11-05”)LIMIT 1000”时,它只返回16行,行数据随着新数据的流入而不断变化,但它只返回16行 流式缓冲区统计数据显示缓冲区中有行 我在大约10个小时前启动了这个流,所以我假设我可以访问一些数据 我在这里有点不知所措,因为我看不到错误 这是收集的一些样本数据 来自: 当流式传输到分区表时,流式

我正在将数据流式传输到bigquery中,日志根本没有记录任何问题,当我运行“SELECT*FROM
datatable
WHERE\u PARTITIONTIME=TIMESTAMP(“2018-11-05”)LIMIT 1000”时,它只返回16行,行数据随着新数据的流入而不断变化,但它只返回16行

流式缓冲区统计数据显示缓冲区中有行

我在大约10个小时前启动了这个流,所以我假设我可以访问一些数据

我在这里有点不知所措,因为我看不到错误

这是收集的一些样本数据

来自:

当流式传输到分区表时,流式传输缓冲区中的_PARTITIONTIME伪列的数据为空值

您应该将过滤器更改为:

WHERE _PARTITIONTIME IS NULL OR _PARTITIONTIME = TIMESTAMP "2018-11-05"
这将包括指定日期的数据以及当前在流媒体缓冲区中的日期。

来自:

当流式传输到分区表时,流式传输缓冲区中的_PARTITIONTIME伪列的数据为空值

您应该将过滤器更改为:

WHERE _PARTITIONTIME IS NULL OR _PARTITIONTIME = TIMESTAMP "2018-11-05"

这将包括指定日期的数据以及当前在流媒体缓冲区中的日期。

我已经尝试过了,但问题仍然存在,我可以看到数据进入,但它在第16行下降。我使用Mark Edmondson ga bq stream-没有更多细节,很难提供有意义的建议。我不知道在这种情况下“下降”是什么意思,也不知道您是如何看到数据进入的。考虑更新您的问题更具体。在日志中,我可以看到,当查询BigQu疑问时,可以用唯一的用户ID.成功插入行。我可以看到特定行出现。但当插入新条目时,该行将消失。最大行数保持在16,表不会随着新条目的添加而增加。我已经尝试过了,但问题仍然存在,我可以看到数据进入,但它在第16行下降。我使用Mark Edmondson ga bq stream-如果没有更多细节,很难提供有意义的建议。我不知道在这种情况下“下降”是什么意思,也不知道您是如何看到数据进入的。考虑更新您的问题更具体。在日志中,我可以看到,当查询BigQu疑问时,可以用唯一的用户ID.成功插入行。我可以看到特定行出现。但当插入新条目时,该行将消失。最大行数保持在16,表不会随着新条目的添加而增加。您能否提供有关如何传输数据的详细信息?我想验证您是否一直在覆盖前16行。我正在使用它,它似乎在覆盖,流式缓冲区统计信息不断显示插入日志中的实际行,但实际表保持不变。一些数据在流式缓冲区中,但尚未在表中,这一事实应该与此无关。这是内部的,数据插入(流缓冲区或表中)后应立即进行查询有关查询分区表的详细信息,请参阅分区表-一段时间内,数据可能会保留在未分区的分区中。您能否提供有关如何流式传输数据的详细信息?我想验证您是否一直在覆盖前16行。我正在使用它,它似乎在覆盖,流式缓冲区统计信息不断显示插入日志中的实际行,但实际表保持不变。一些数据在流式缓冲区中,但尚未在表中,这一事实应该与此无关。这是内部的,数据插入(流缓冲区或表中)后应立即进行查询有关查询分区表的详细信息,请参阅分区表-在一段时间内,数据可能会保留在未分区的分区中