Google bigquery 每日数据更新在BigQuery中是否可行?

Google bigquery 每日数据更新在BigQuery中是否可行?,google-bigquery,Google Bigquery,我有数据将被用于一个基于网络的报告软件的数据库中。这些数据是通过编程方式从许多不同的来源、完全不同的公司收集的,我正试图将所有数据集中在一个地方,以便为客户方便地显示,而不是去X个不同的仪表盘,汇总所有数据,等等。我们必须按日期将这些数据分开,而且尽可能准确,因为它与收入有关 这一切的问题在于我的数据源的可靠性。与我们合作的几家公司无法在第二天获得最新数据,并且显示不完整的数据。例如,数据源A显示他们昨天赚了14美元,但如果你第二天再查看,你会看到他们在同一天实际赚了大约100美元。这种差异并不

我有数据将被用于一个基于网络的报告软件的数据库中。这些数据是通过编程方式从许多不同的来源、完全不同的公司收集的,我正试图将所有数据集中在一个地方,以便为客户方便地显示,而不是去X个不同的仪表盘,汇总所有数据,等等。我们必须按日期将这些数据分开,而且尽可能准确,因为它与收入有关

这一切的问题在于我的数据源的可靠性。与我们合作的几家公司无法在第二天获得最新数据,并且显示不完整的数据。例如,数据源A显示他们昨天赚了14美元,但如果你第二天再查看,你会看到他们在同一天实际赚了大约100美元。这种差异并不总是那么剧烈,但在某些情况下确实如此,而且显然由于收入的敏感性,我们希望确保尽可能多地准确地反映在发球台上

我所设想的事情的实际性质是这样的:数据加载,比如说5月1日。有些数据是不完整的,但客户需要能够看到它,即使它是不完整的。5月2日开始,我们加载当天的数据。但是,此时,5月1日加载的数据现在在从中提取的API中已完成,因此,我们也会返回并在同一个表/目标源中使用新的准确值覆盖旧的5月1日数据

因此,在所有这些背景的影响下,我的实际问题;BigQuery是适合我需要的工具吗?这样的每日DML查询是否会导致不必要的成本密集?有没有另一个谷歌云解决方案,我应该改用它来处理我需要的日常更新?

考虑一下