Google bigquery 什么';这是预期的';摄入';BigQuery流式插入的时间?

Google bigquery 什么';这是预期的';摄入';BigQuery流式插入的时间?,google-bigquery,Google Bigquery,这听起来像是重复,但我想知道BQ团队是否有任何进一步的见解,为什么流式插入可能需要这么长时间。(我将在一个小时内到达,只排9千行。) 不确定它是否相关,但我正在做的唯一“不寻常”的事情是使用python pandas的“to_gbq”特性。实际上,我与@felipehoffa合作撰写了一篇关于这种方法的评论(见)。我使用的是if_exists='append'指令,但是延迟是从第一次尝试开始发生的(即当表尚未创建时)。我不确定这是否有用,但我想我会把它扔出去。我想我必须在这篇文章上发表我自己的答

这听起来像是重复,但我想知道BQ团队是否有任何进一步的见解,为什么流式插入可能需要这么长时间。(我将在一个小时内到达,只排9千行。)


不确定它是否相关,但我正在做的唯一“不寻常”的事情是使用python pandas的“to_gbq”特性。实际上,我与@felipehoffa合作撰写了一篇关于这种方法的评论(见)。我使用的是if_exists='append'指令,但是延迟是从第一次尝试开始发生的(即当表尚未创建时)。我不确定这是否有用,但我想我会把它扔出去。

我想我必须在这篇文章上发表我自己的答案。我们在流媒体上反复获得8小时以上的接收时间,因此我们转向了更便宜、更可靠的文件“加载”功能。我是一个非常热心的BigQuery用户,但是关于流媒体的一些东西还没有准备好进入黄金时间。我们不能确定它是什么,但当它起作用时,它就起作用了。如果没有,您将等待太久,无法获得可用的数据。在我们能够区分哪种情况会发生之前,我们暂时还没有意识到这一点。

肯定有所改进!