Google cloud platform 如何更新bucket每次上传的大查询后端数据

我已经用云存储桶中的数据创建了一个大查询

在我的用例中，我定期将数据发送到作为我的大查询后端的同一个bucket（在创建大查询表时，我使用了相同的bucket名称）

是否有可能将更新后的数据放入大查询中，因为每次我都会在一定的时间间隔内将新数据推送到同一个存储桶中

只需提一下——我正在从上面提到的专用存储桶中进行本机大查询

非常感谢你的帮助。提前感谢。

您可以在谷歌云存储桶上创建外部（联邦）表 有很多细节 因此，在本例中，无论何时查询此表，都将获得最新数据

若您只需要根据bucket中的数据将数据追加到表中（称为目标表），我可以想象以下过程： 1.您可以在GCS存储桶上创建联邦表 2.您可以设置一个简单的cron作业，运行bq命令，只需从[federated_table]执行select*并将结果追加到目标表中（您可能有更复杂的查询，它将检查目标表中的数据重复，只追加新数据）

备选方案： 您可以在bucket上设置触发器来激活云功能，在cloud功能中，您只需将新添加的数据加载到目标表中即可

您可以在Google云存储bucket上创建外部（联合）表 有很多细节 因此，在本例中，无论何时查询此表，都将获得最新数据

若您只需要根据bucket中的数据将数据追加到表中（称为目标表），我可以想象以下过程： 1.在GCS bucket上创建联邦表 2.您可以设置简单的cron作业，运行bq命令，只需从[federated_table]执行select*并将结果追加到目标表中（您可能有更复杂的查询，该查询将检查目标表中的数据重复，只追加新数据）

备选方案：

---

您在bucket上设置触发器来激活云函数，在云函数中，您只需将新添加的数据加载到目标表

Nice。云函数到Dataflow到BigQuery也是一个不错的选择。Nice。云函数到Dataflow到BigQuery也是一个不错的选择。