Google bigquery 如何在google big Query上更新大表

Google bigquery 如何在google big Query上更新大表,google-bigquery,Google Bigquery,在Google BigQuery上“更新”表的最佳实践是什么 我需要每小时加载大量批处理文件 批处理文件中的某些记录包含需要替换大目标表中旧记录的记录 如果每个记录都有一个id,则可以像这样合并新表和旧表: SELECT * FROM (SELECT * FROM [oldtable] WHERE id NOT IN (SELECT id FROM [newtable])), (SELECT * FROM [newtable]) 谢谢但是,当键包含多个列时,该怎么办?如果有多个表是由

在Google BigQuery上“更新”表的最佳实践是什么

我需要每小时加载大量批处理文件


批处理文件中的某些记录包含需要替换大目标表中旧记录的记录

如果每个记录都有一个id,则可以像这样合并新表和旧表:

SELECT * FROM 
  (SELECT * FROM [oldtable] WHERE id NOT IN (SELECT id FROM [newtable])),
  (SELECT * FROM [newtable])

谢谢但是,当键包含多个列时,该怎么办?如果有多个表是由业务日期而不是插入日期修改的,那么当您需要更新“分区”时,您将如何处理?具体取决于。如果没有id,如何判断它是新行还是更新?我有id,键包含多个字段。我有id,键包含多个字段。问题是,如何处理包含新行+需要更新的旧行的新增量表。但是DWH(目的地表)是按工作日划分的。这意味着几个表需要更新。但是当我在这个联合查询中有时间戳字段时,我面临着usec错误