Firebase 从历史表与ga_sessions_历史表处理的字节差异
如果我从所有现有的Firebase 从历史表与ga_sessions_历史表处理的字节差异,firebase,google-analytics,google-cloud-platform,google-bigquery,Firebase,Google Analytics,Google Cloud Platform,Google Bigquery,如果我从所有现有的ga_会话或firebase表中提取完整数据,则处理的字节数为4.5GB 如果将上一个查询保存到目标表中,然后从该表中提取完整数据,则处理的字节数为217GB 两个表的表大小相同。为什么会出现这种差异 更新: 我的standardSQL查询: SELECT TABLE_SUFFIX AS Date, user_dim.app_info.app_instance_id, user_dim.app_info.app_version, user_dim.geo_info.cit
ga_会话
或firebase
表中提取完整数据,则处理的字节数为4.5GB
如果将上一个查询保存到目标表中,然后从该表中提取完整数据,则处理的字节数为217GB
两个表的表大小相同。为什么会出现这种差异
更新:
我的standardSQL
查询:
SELECT TABLE_SUFFIX AS Date,
user_dim.app_info.app_instance_id,
user_dim.app_info.app_version,
user_dim.geo_info.city,
user_properties.key,
event.name
FROM project.dataset.app_events_*,
UNNEST(user_dim.user_properties) AS user_properties,
UNNEST(event_dim) AS event
返回4.5GB
。如果保存此表(称为历史_数据),并编写此查询:
SELECT *
FROM `project.dataset.historical_data`
然后它返回
217GB
我认为这是可能的,因为双交叉连接-对于每个交叉连接的行,您现在有一组冗余的以下字段
TABLE_SUFFIX AS Date,
user_dim.app_info.app_instance_id,
user_dim.app_info.app_version,
user_dim.geo_info.city
因此,即使原始表的大小为4.5GB,结果仍然是217GB
对我来说是有意义的——这是大数据所带来的——如果不够小心,结果可能会爆炸到巨大的规模
另外,顺便说一句,检查原始表和输出表中的行数1)当你说提取时,你的意思是
提取作业
?2)然后你提到-上一个查询
-那么它是查询还是提取?如果查询-它到底是什么查询?1)提取=运行查询。2)显示选项->目标表(例如,data\u historical
)->运行查询->组合查询->处理的字节数不同于从project.dataset.data\u historical
中选择的字节数大于1)好的。所以这两种情况实际上都是查询。如果看不到您确切的两个查询,就很难回答您的问题!除非我仍然缺少一些内容选择TABLE_后缀作为日期,user_dim.app_info.app_instance_id,user_dim.app_info.app_version,user_dim.geo_info.city,user_properties.key,event.name FROMproject.dataset.app_events.*
,UNNEST(user_dim.user_properties)作为user_属性,UNNEST(event_dim)作为event您应该更新您的问题,而不是:o)因为很难在注释中使用查询文本