Google bigquery 在Bigquery中查询外部表和新数据到达时无模式自动检测
目前的情况是这样的: 我在Bigquery中针对云存储中的json创建了一个外部表 我正在测试模式自动检测的工作原理 当我创建这个表时,有两个json文件具有不同的模式,Bigquery做得很好 当我使用新模式加载新文件(向记录字段添加新属性)时,Bigquery会识别新记录,但此新字段不会出现。所以模式自动检测并没有像我预期的那样工作 当新文件到达云存储文件夹时,如何让模式自动检测Google bigquery 在Bigquery中查询外部表和新数据到达时无模式自动检测,google-bigquery,google-cloud-platform,google-cloud-storage,Google Bigquery,Google Cloud Platform,Google Cloud Storage,目前的情况是这样的: 我在Bigquery中针对云存储中的json创建了一个外部表 我正在测试模式自动检测的工作原理 当我创建这个表时,有两个json文件具有不同的模式,Bigquery做得很好 当我使用新模式加载新文件(向记录字段添加新属性)时,Bigquery会识别新记录,但此新字段不会出现。所以模式自动检测并没有像我预期的那样工作 当新文件到达云存储文件夹时,如何让模式自动检测 有什么帮助吗?罪魁祸首:恐怕自动模式检测是在创建表时发生的,而不是在添加新文件时更新 可能的解决办法: 新文件
有什么帮助吗?罪魁祸首:恐怕自动模式检测是在创建表时发生的,而不是在添加新文件时更新 可能的解决办法:
- 新文件到达时重新创建表
- 在GCS上为新到达的文件添加发布/订阅通知,并使用Google Cloud函数在该文件上重新创建表触发器