Cloud 使用云数据融合在MySql的Bigquery中添加增量数据

我想安排一个将MySql数据传输到Google Bigquery的管道，但是完整的数据会附加到BQ中的旧表中，我只希望添加增量数据…

是否可以根据数据中的一列计算每次导入的差异？

您需要能够“更新如果存在”原理图，这在BQ插件中当前不可用。我们正在努力更新插件，以支持这一点（打开了JIRA）。或者，您可以在每次运行时将其写入单独的表中，然后使用“合并”更新主表。打开了一个JIRA来添加一个合并操作插件，该插件允许一个人合并表（）

我还没有找到任何与此相关的内容。在数据融合中，我们无法使用或跟踪接收器数据到下一个计划的作业源数据……除非手动维护索引，否则我们如何才能只将mysql增量数据写入单独的表中（如果我们不维护索引，它将再次拉取我们不想要的完整表，或者有办法绕过它？）。如果每天都要更新大量的表，那么维护索引是不可能的？如果我们可以跟踪它，我们可以只选择索引之外的行并附加到BQ表，这也是我们不想做的。