Google bigquery Google BigQuery上的数百万个表

我使用BigQuery处理大约50亿行，这些行可以在大约100万个键上进行分区

由于我们的查询通常是按分区键进行的，因此是否可以创建约100万个表（1个表/键）来限制处理的字节总数

---

我们有时还需要一起查询所有数据，将所有数据放在一个表中很容易做到，但我希望使用与批量分析相同的平台进行分区分析。

这可能可行，但不鼓励将表如此精细地分区。您最好将数据划分到数量较少的表中，例如10或100，然后只查询您需要的一个表

我说的气馁是什么意思？首先，这100万张表中的每一张都将收取至少10 MB的存储费用。因此，当您的数据可能比这少得多时，您将收取9 TB存储的费用。其次，当您尝试创建这么多表时，可能会达到速率限制。第三，管理一百万张表非常棘手；BigQueryUI可能不会有多大帮助。第四，你会让BigQuery上的工程师非常暴躁，他们会开始试图弄清楚我们是否需要提高表的最小大小

此外，如果您确实希望有时查询所有数据，那么对这些数据进行精细分区可能会给您带来困难，除非您愿意多次存储数据。在一个查询中只能引用1000个表，每个表都会导致性能下降