Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/angular/33.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform BigQuery中的分区表_Google Cloud Platform_Google Bigquery - Fatal编程技术网

Google cloud platform BigQuery中的分区表

Google cloud platform BigQuery中的分区表,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我想知道在BigQuery中使用分区表的用途是什么。不管大小如何,大多数查询似乎都需要大约相同的时间来完成(忽略极端情况,我概括地说),这主要是使用它来降低处理字节的成本,还是BQ中分区表的主要用例是什么 有多种好处,主要是成本 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本 超过90天不接触的分区成本更低 显然,重新加载一天的数据要比处理数据容易得多 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这

我想知道在BigQuery中使用分区表的用途是什么。不管大小如何,大多数查询似乎都需要大约相同的时间来完成(忽略极端情况,我概括地说),这主要是使用它来降低处理字节的成本,还是BQ中分区表的主要用例是什么


有多种好处,主要是成本

  • 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本
  • 超过90天不接触的分区成本更低
  • 显然,重新加载一天的数据要比处理数据容易得多
  • 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这进一步简化了查询,也不再存在读取1000多个表的问题(这是一个硬限制)
  • 当您修改模式时,您需要修改几个表,而不再需要在数千个表上编写更改脚本
  • 这也意味着它在云平台上得到更好的处理和优化,所需资源更少
  • 通过将数据重新组织到分区表中,查询时间将在将来受益。随着客户移动数据,云工程团队将优化服务以获得更好的使用
  • 如果您的现有数据至少有几TB,您将看到明显的成本效益

    • 有多种好处,主要是成本

      • 通过编写一个只读查询,例如:7天的分区而不是7年的分区,可以降低成本
      • 超过90天不接触的分区成本更低
      • 显然,重新加载一天的数据要比处理数据容易得多
      • 我们仍然建议您使用年度表,例如mytable_2018,但不再要求您使用每日表,例如mytable_20180101,这进一步简化了查询,也不再存在读取1000多个表的问题(这是一个硬限制)
      • 当您修改模式时,您需要修改几个表,而不再需要在数千个表上编写更改脚本
      • 这也意味着它在云平台上得到更好的处理和优化,所需资源更少
      • 通过将数据重新组织到分区表中,查询时间将在将来受益。随着客户移动数据,云工程团队将优化服务以获得更好的使用
      • 如果您的现有数据至少有几TB,您将看到明显的成本效益

      当然,查询更便宜。此外,使用旧式的日期分片表(_YYYYMMDD)进行查询很麻烦/笨拙,而且很快就达到了极限。它只向用户显示一个表而不是数百个表,从而简化了查询。@GrahamPolley收到了,谢谢您的评论。你发现自己在使用BQ分区吗?如果是的话,你的一个用例是什么?是的,一直都是这样。e、 当然,查询更便宜。此外,使用旧式的日期分片表(_YYYYMMDD)进行查询很麻烦/笨拙,而且很快就达到了极限。它只向用户显示一个表而不是数百个表,从而简化了查询。@GrahamPolley收到了,谢谢您的评论。你发现自己在使用BQ分区吗?如果是的话,你的一个用例是什么?是的,一直都是这样。例如