Google cloud platform BigQuery中的分区表
我想知道在BigQuery中使用分区表的用途是什么。不管大小如何,大多数查询似乎都需要大约相同的时间来完成(忽略极端情况,我概括地说),这主要是使用它来降低处理字节的成本,还是BQ中分区表的主要用例是什么Google cloud platform BigQuery中的分区表,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我想知道在BigQuery中使用分区表的用途是什么。不管大小如何,大多数查询似乎都需要大约相同的时间来完成(忽略极端情况,我概括地说),这主要是使用它来降低处理字节的成本,还是BQ中分区表的主要用例是什么 有多种好处,主要是成本 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本 超过90天不接触的分区成本更低 显然,重新加载一天的数据要比处理数据容易得多 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这
有多种好处,主要是成本
- 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本
- 超过90天不接触的分区成本更低
- 显然,重新加载一天的数据要比处理数据容易得多
- 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这进一步简化了查询,也不再存在读取1000多个表的问题(这是一个硬限制)
- 当您修改模式时,您需要修改几个表,而不再需要在数千个表上编写更改脚本
- 这也意味着它在云平台上得到更好的处理和优化,所需资源更少
- 通过将数据重新组织到分区表中,查询时间将在将来受益。随着客户移动数据,云工程团队将优化服务以获得更好的使用
- 如果您的现有数据至少有几TB,您将看到明显的成本效益
- 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本
- 超过90天不接触的分区成本更低
- 显然,重新加载一天的数据要比处理数据容易得多
- 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这进一步简化了查询,也不再存在读取1000多个表的问题(这是一个硬限制)
- 当您修改模式时,您需要修改几个表,而不再需要在数千个表上编写更改脚本
- 这也意味着它在云平台上得到更好的处理和优化,所需资源更少
- 通过将数据重新组织到分区表中,查询时间将在将来受益。随着客户移动数据,云工程团队将优化服务以获得更好的使用
- 如果您的现有数据至少有几TB,您将看到明显的成本效益
- 有多种好处,主要是成本