Fatal编程技术网
  • json/
  • Json BigQuery-记录字段中的灵活模式

Json BigQuery-记录字段中的灵活模式

json google-bigquery

Json BigQuery-记录字段中的灵活模式,json,google-bigquery,record,Json,Google Bigquery,Record,我有一个BigQuery的模式，其中记录字段类似于JSON，但是JSON中的键是动态的，即新的键可能随着新数据出现，很难知道总共有多少键。根据我的理解，不可能对这样的表使用BigQuery，因为需要显式定义记录字段类型的模式，否则会抛出错误 唯一的另一种选择是，在查询将通过JSON（文本）字段解析的数据时使用JSON_EXTRACT函数。在BigQuery中，还有其他方法可以在表中使用动态嵌套模式吗 可以为公共字段创建固定模式，并且可以将它们设置为可空。可以使用列作为类型字符串来存储JSON的其

我有一个BigQuery的模式，其中记录字段类似于JSON，但是JSON中的键是动态的，即新的键可能随着新数据出现，很难知道总共有多少键。根据我的理解，不可能对这样的表使用BigQuery，因为需要显式定义记录字段类型的模式，否则会抛出错误

唯一的另一种选择是，在查询将通过JSON（文本）字段解析的数据时使用JSON_EXTRACT函数。在BigQuery中，还有其他方法可以在表中使用动态嵌套模式吗

可以为公共字段创建固定模式，并且可以将它们设置为可空。可以使用列作为类型字符串来存储JSON的其余部分，并使用JSON函数来查询数据

我们的表中始终有一个
meta
列，它作为JSON对象保存额外的原始非结构化数据

请注意，目前在字符串列中最多可以存储2兆字节，这对于JSON文档来说是不错的选择

为了更容易处理数据，您可以从使用JSON_EXTRACT的查询中创建视图，并在其他更简单的查询中引用视图表

同样在流式插入阶段，您的应用程序可以将JSON反规范化为适当的表。

谢谢您的回答！