Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google bigquery 在Bigquery中查询外部表和新数据到达时无模式自动检测_Google Bigquery_Google Cloud Platform_Google Cloud Storage - Fatal编程技术网

Google bigquery 在Bigquery中查询外部表和新数据到达时无模式自动检测

Google bigquery 在Bigquery中查询外部表和新数据到达时无模式自动检测,google-bigquery,google-cloud-platform,google-cloud-storage,Google Bigquery,Google Cloud Platform,Google Cloud Storage,目前的情况是这样的: 我在Bigquery中针对云存储中的json创建了一个外部表 我正在测试模式自动检测的工作原理 当我创建这个表时,有两个json文件具有不同的模式,Bigquery做得很好 当我使用新模式加载新文件(向记录字段添加新属性)时,Bigquery会识别新记录,但此新字段不会出现。所以模式自动检测并没有像我预期的那样工作 当新文件到达云存储文件夹时,如何让模式自动检测 有什么帮助吗?罪魁祸首:恐怕自动模式检测是在创建表时发生的,而不是在添加新文件时更新 可能的解决办法: 新文件

目前的情况是这样的:

我在Bigquery中针对云存储中的json创建了一个外部表

我正在测试模式自动检测的工作原理

当我创建这个表时,有两个json文件具有不同的模式,Bigquery做得很好

当我使用新模式加载新文件(向记录字段添加新属性)时,Bigquery会识别新记录,但此新字段不会出现。所以模式自动检测并没有像我预期的那样工作

当新文件到达云存储文件夹时,如何让模式自动检测


有什么帮助吗?

罪魁祸首:恐怕自动模式检测是在创建表时发生的,而不是在添加新文件时更新

可能的解决办法:

  • 新文件到达时重新创建表
直接实现:

  • 在GCS上为新到达的文件添加发布/订阅通知,并使用Google Cloud函数在该文件上重新创建表触发器