Json Google BigQuery流媒体-插入时间

我第一次在一个客户端项目上与Google BigQuery合作，并在SSIS中创建了包，使用SSIS插件（CData）将数据插入表中（一个奇怪的组合，但我的客户端需要）

---

我希望在BigQuery表中插入大约100k行，但是，当我希望在此表上执行进一步的更新查询时，这些查询无法执行，因为数据仍在缓冲区中。人们如何知道在BigQuery中这需要多长时间，以及有没有办法加快处理过程？

数据是否仍在缓冲区中并不重要。如果查询表，缓冲区中的数据也将包括在内。这只是BigQuery中许多令人敬畏的事情之一

到达流式缓冲区的记录将在那里保留一段时间 一些最小时间量（分钟）。在此期间 记录已缓冲，您可能会发出一个将 参考表格。即时可用性阅读器允许工作人员 从查询引擎读取缓冲记录，然后 致力于托管存储

数据仍在缓冲区中。如何知道在BigQuery中这需要多长时间

在第一次将流数据插入表的几秒钟内，流数据可用于实时分析。 数据最多需要90分钟才能用于复制和导出操作。在中查看更多信息

同时，-不能使用UPDATE或DELETE语句修改最近通过BigQuery流（tabledata.insertall）写入的表。因此，如上所述-

最多90分钟

有没有办法加快这个过程

---

在您的情况下，唯一的方法是使用加载数据而不是流式数据。根据我对您案例数据的理解，数据是MS SQL格式的，因此您可以通过

Hi-Graham将SSIS包批量感知并逐批加载。确实，您可以从表中查询和选择数据，但在缓冲区中无法更新数据（据我所知）。我试图解决一个问题，即供应商的数据被追溯性地更改，因此我需要从表中删除行并插入新更正的图形。我认为事实并非如此。我有在执行流式插入后立即查询表的经验，有时我无法检索这些数据。另外，您报告的链接是

，流式读卡器可能无法为希望从流式缓冲区读取记录的查询请求提供服务。在这些情况下，您可能会发现缓冲数据不会对查询结果产生影响。