Google bigquery 从查询创建表,同时保留原始架构

Google bigquery 从查询创建表,同时保留原始架构,google-bigquery,Google Bigquery,我使用以下工作流将数据从外部源附加到现有BigQuery表: 查询表中最新的记录:(从test.table中选择max(lastModifiedData)。将此数据另存为“lastMigrationTime” 在外部源中查询自“lastMigrationTime”之后更改的记录的ID 查询除更新记录外的所有记录的大查询表:将结果保存到test.tentable 将可诱惑的移动到表格(使用删除表格,将可诱惑的复制到表格,删除可诱惑的) 查询外部源以获取更新的记录,并将其加载到test.table

我使用以下工作流将数据从外部源附加到现有BigQuery表:

  • 查询表中最新的记录:(从test.table中选择max(lastModifiedData)。将此数据另存为“lastMigrationTime”
  • 在外部源中查询自“lastMigrationTime”之后更改的记录的ID
  • 查询除更新记录外的所有记录的大查询表:将结果保存到test.tentable
  • 可诱惑的移动到表格(使用删除表格,将可诱惑的复制到表格,删除可诱惑的)
  • 查询外部源以获取更新的记录,并将其加载到test.table
  • 我面临的问题是表的原始模式包含嵌套元素。我运行的任何查询都会展平模式,迫使我也展平原始模式。我看到的另一个副作用是列名变为小写


    是否有任何方法可以保留原始模式(主要是嵌套,但也可以维护案例)?

    列名大小写问题是一个已知的错误,应该在我们的下一个版本中修复(希望在接下来的几天内)


    保留列嵌套是一项高优先级的功能要求。我们对支持这一点非常感兴趣,但遗憾的是,我没有任何时间框架来确定何时完成这一工作。

    此列名是否已修复。我仍然可以看到,当我复制一个表时,新的表模式会变平。当我尝试附加数据时,它表示模式不匹配。我尝试手动更新新表的架构,但该表也没有得到更新。。