Streaming 使用模板表的BigQuery流式插入数据可用性问题

我们已经使用BigQuery一年多了，没有任何问题。我们每隔几个小时以批处理作业的形式加载数据，并且通常可以立即使用

我们刚刚开始尝试使用模板表进行流式插入。在第一次测试中，我们没有发现任何错误，数据立即显示出来。该测试创建了大约120个表。对这些表进行简单的select计数（使用web ui）得到了大约8000行的正确总数。经过几个小时的流媒体播放，总数下降到约1400行

由于不确定发生了什么，我们删除了数据集，重新创建了模板表并重新运行了流式处理。这一次，表格马上就出现了，但数据却没有。在我们第三次尝试时，桌子本身没有出现超过两个小时。我们正在进行第四次尝试，这次只对属于一个表的数据流进行处理。表格马上就出现了，但是已经一个多小时了，数据没有显示出来

流媒体服务使用最新的Java库，一次只插入一条记录并记录响应。响应总是{“kind”：“bigquery#tableDataInsertAllResponse”}，没有异常，并且没有错误

---

任何试图了解正在发生的事情的帮助都将是巨大的。谢谢。

看来我们已经确定了问题所在。模板表路径中似乎存在一种竞争，这种竞争只会导致我们的系统认为第一块数据是由用户操作（表截断——显然不是）删除的，并被删除。我们已经确定了修复程序，并将很快尝试推出修复程序

---

谢谢你让我们知道

如果你能给我们你的项目/模板表/后缀，我们可以看看。也就是说，可能会有缓存交互在起作用。。。如果删除表，您可能需要等待几分钟，以便在再次尝试流式传输之前清除缓存。否则，我们会将插入内容绑定到已删除的表。。。然后删除这些行（因为我们认为它们关联的表已经不存在了）。肖恩，谢谢你的快速回复。在删除表之后，我们确实等待了大约10分钟，然后再次开始流式处理。我们将再次尝试此测试，删除表，等待一个小时（只是为了确保），然后尝试流式传输。如果我们仍然看到这个问题，我们会给你回复项目和其他细节。再次感谢。不确定这是否与昨天推送的更新有关，并且存在一些严重问题，因此在BQ上发生了一个事件：@Pentium10谢谢你的指针。在流式传输数据时，我没有收到任何错误，因此这可能是一个问题else@SeanChen删除表格后，我们给它冷却了几个小时。然后我们重新启动了流媒体。我们的日志显示，我们传输了11094行数据，而在BigQuery中只看到8207行。一个“数据块”有多大？大小不同。这取决于插入流数据的速度。顺便说一句，竞争条件现在应该得到修复。第二个注意：竞争只存在于已删除的生成模板表中，然后由流媒体系统重新创建。我刚刚尝试过，但仍然收到一个错误：“exchange reporting dw:bqjob\u r3888baca5e773dca\u00000 152FCEA678F\u 1”：未找到：表exchange reporting dw:reporting\u dw.exchange\u campaign\u staging\u tmpl\u 2016\u 02\u 19在流媒体之前删除后，我是否应该睡眠一段时间？