Google cloud platform 限制BigQuery扫描任何给定查询所需的记录数?

Google cloud platform 限制BigQuery扫描任何给定查询所需的记录数?,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我已经上传了一些大表到BigQuery,可以在上面运行查询。我通过只扫描特定的所需列而不是SELECT* 是否有任何方法限制垂直扫描的数据。我可以看到使用限制: 对SELECT*查询应用LIMIT子句不会影响读取的数据量。您将为读取整个表中的所有字节付费 是否有其他方法可以减少给定查询的BigQuery扫描记录数?也许通过上传(并正确命名)许多较小的表而不是一个较大的表,或者通过特定的BigQuery SQL 如果相关,我的文件是拼花格式。检查BigQuery中的分区和集群 (可以很好地降低成

我已经上传了一些大表到BigQuery,可以在上面运行查询。我通过只扫描特定的所需列而不是
SELECT*

是否有任何方法限制垂直扫描的数据。我可以看到使用
限制

对SELECT*查询应用LIMIT子句不会影响读取的数据量。您将为读取整个表中的所有字节付费

是否有其他方法可以减少给定查询的BigQuery扫描记录数?也许通过上传(并正确命名)许多较小的表而不是一个较大的表,或者通过特定的BigQuery SQL


如果相关,我的文件是拼花格式。

检查BigQuery中的分区和集群


(可以很好地降低成本,但有限制)

检查BigQuery中的分区和集群


(在降低成本和限制方面效果很好)

我认为这会有所帮助

两个基本操作是减少扫描的行数和减少扫描的列数

要减少行数,最明显的方法是使用LIMIT。如果无法使用LIMIT减少行数,另一种方法是查看数据集中的某个模式。例如,如果您有date列,则使用BEVER运算符仅选择所需的数据


另一种方法是将数据放在单独的表中。这将限制您处理的数据量。但在跨表运行查询时,这会有点棘手,我认为这会有所帮助

两个基本操作是减少扫描的行数和减少扫描的列数

要减少行数,最明显的方法是使用LIMIT。如果无法使用LIMIT减少行数,另一种方法是查看数据集中的某个模式。例如,如果您有date列,则使用BEVER运算符仅选择所需的数据

另一种方法是将数据放在单独的表中。这将限制您处理的数据量。但在跨表运行查询时,这将有点棘手