Json 使用加载表API时,BigQuery不接受联机架构生成器生成的架构定义
如有任何相关帮助,将不胜感激 我有几个不同的JSON文档需要插入到BigQuery中。现在为了避免手动生成模式,我使用了可用的在线Json模式生成工具。但是BigQuery加载数据向导不接受由它们生成的架构。 对于eaxmple:对于这样的Json数据:Json 使用加载表API时,BigQuery不接受联机架构生成器生成的架构定义,json,google-bigquery,Json,Google Bigquery,如有任何相关帮助,将不胜感激 我有几个不同的JSON文档需要插入到BigQuery中。现在为了避免手动生成模式,我使用了可用的在线Json模式生成工具。但是BigQuery加载数据向导不接受由它们生成的架构。 对于eaxmple:对于这样的Json数据: {"_id":100,"actor":"KK","message":"CCD is good in Pune", "comment":[{"actor":"Subho","message":"CCD is not as good in Kolk
{"_id":100,"actor":"KK","message":"CCD is good in Pune",
"comment":[{"actor":"Subho","message":"CCD is not as good in Kolkata."},
{"actor":"bisu","message":"CCD is costly too in Kolkata"}]
}
联机工具生成的架构为:
{
"$schema": "http://json-schema.org/draft-04/schema#",
"description": "Generated from c:jsonccd.json with shasum a003286a350a6889b152
b3e33afc5458f3771e9c",
"type": "object",
"required": [
"_id",
"actor",
"message",
"comment"
],
"properties": {
"_id": {
"type": "integer"
},
"actor": {
"type": "string"
},
"message": {
"type": "string"
},
"comment": {
"type": "array",
"minItems": 1,
"uniqueItems": true,
"items": {
"type": "object",
"required": [
"actor",
"message"
],
"properties": {
"actor": {
"type": "string"
},
"message": {
"type": "string"
}
}
}
}
}
}
但当我将其放入加载数据向导中的BigQuery中时,它失败并出现错误
如何缓解这种情况
谢谢。该工具生成的模式比BigQuery需要的要复杂得多 查看文档中的示例:
"schema": {
"fields": [
{"name":"f1", "type":"STRING"},
{"name":"f2", "type":"INTEGER"}
]
},
同时,问题中提到的工具添加了一些字段,如$schema、description、type、required、properties,这些字段对BigQuery模式解析器来说是不必要的,也不容易理解。这并不是所有的BigQuery模式,而是一些其他的模式,让您感到困惑。你用的是什么发电机?@Pentium 10-你可能还没有彻底阅读我的问题。我在这里打印的模式是从在线Json模式生成器生成的。这是有效的。但是BigQuery不接受这种格式。现在这里有任何工具或实用程序根据BigQuery可接受的格式生成模式吗?无效的格式错误。无法分析架构。所以它甚至没有创建表。该工具生成了一些Json模式,但它不是BQ认可的格式。阅读BQ文档,了解如何在BQ中定义表结构。还没有发电机来做这些。谢谢大家!我已经完成了BigQuery加载,但我想从这个论坛上知道的唯一一件事是,是否有人可以为BigQuery架构指向任何自动生成器工具。@Subhayu据我们所知,没有用于BQ架构的自动生成工具,架构是如此独特,以至于您不需要它们。而且手工创建甚至编写json模式非常简单-