Google bigquery 在bigquery中避免重复

Google bigquery 在bigquery中避免重复,google-bigquery,Google Bigquery,我正在使用bigquery,文档中说: 与传统的关系型数据库管理系统不同,它没有主/辅或 行id键。如果需要,请在表架构中为 这就是目的 你知道我怎么能像pk那样插入没有重复的内容(但不仅仅是在同一个插入中)? 首先,让我们澄清一些事实。因为没有重复项就无法插入 Bigquery是一个适用于大型数据集的托管数据仓库,,它不是传统数据库的替代品 每天最多只能对一个表执行96个DML(更新、删除)操作。这是故意的。它之所以低,是因为它迫使你像BQ一样思考数据湖 所以,在Bigquery上,您实际上允

我正在使用bigquery,文档中说:

与传统的关系型数据库管理系统不同,它没有主/辅或 行id键。如果需要,请在表架构中为 这就是目的

你知道我怎么能像pk那样插入没有重复的内容(但不仅仅是在同一个插入中)?
首先,让我们澄清一些事实。因为没有重复项就无法插入

Bigquery是一个适用于大型数据集的托管数据仓库,,它不是传统数据库的替代品

每天最多只能对一个表执行96个DML(更新、删除)操作。这是故意的。它之所以低,是因为它迫使你像BQ一样思考数据湖

所以,在Bigquery上,您实际上允许所有数据进入,所有内容都是通过设计附加的。这意味着,通过设计,您有一个数据库,它为每次更新保存一个新行。因此,如果要使用最新数据,则需要选择最后一行并使用该行

我们实际上利用了我们添加到同一行的每个新更新的洞察。例如,我们可以检测最终用户在注册流中选择其国家花了多长时间。因为我们有一个国家的下拉列表,它需要一些时间才能滚动到他的国家,指标显示了这一点,因为我们最终在BQ中有两行,一行选择了之前的国家,一行选择了之后的国家,基于时间选择,我们能够优化流程。现在,在“我们的国家”下拉列表中,我们列出了前5个最新/最频繁的国家,因此这些用户不再需要滚动选择国家,速度更快

换句话说,您可以使用功能不断地添加新行。然后,SQL查询通常使用窗口函数

不能更新行,也不能将记录作为BigQuery追加到每个表