限制BigQuery扫描任何给定查询所需的记录数?

我已经将一些大表上传到BigQuery并可以在它们上运行查询。通过仅扫描特定的必需列而不是SELECT *

,我已经成功地水平降低了成本

还有什么方法可以限制 垂直 扫描的数据。我可以看到使用LIMIT will not help

  

将LIMIT子句应用于SELECT *查询不会影响读取的数据量。您需要为读取整个表中的所有字节付费

是否还有其他方法可以减少BigQuery扫描给定查询的记录数量?也许是通过上传(并正确命名)许多较小的表而不是一个较大的表,还是通过特定的BigQuery SQL?

如果相关,我的文件为实木复合地板格式。

spy387824256 回答:限制BigQuery扫描任何给定查询所需的记录数?

在BigQuery中检查分区和集群。

https://cloud.google.com/bigquery/docs/partitioned-tables

https://cloud.google.com/bigquery/docs/clustered-tables(通过LIMIT也可以很好地降低成本)

,

我认为这会有所帮助。

两个基本操作是减少扫描的行数和减少扫描的列数。

要减少行数,明显的方法是使用LIMIT。如果不能使用LIMIT减少行数,则另一种方法是查看数据集中的特定模式。例如,如果您使用BETWEEN来设置日期列操作员仅选择所需的数据。

另一种方法是将数据放在单独的表中,这将限制您处理的数据量。但是,在表中运行查询时,会有些棘手

本文链接:https://www.f2er.com/3127098.html

大家都在问