Google bigquery 设置2 youtube bigquery传输(每个所有者id一个),使用相同的后缀,因此数据将进入相同的表。传输丢失了很多数据

Google bigquery 设置2 youtube bigquery传输(每个所有者id一个),使用相同的后缀,因此数据将进入相同的表。传输丢失了很多数据,google-bigquery,transfer,Google Bigquery,Transfer,通常,我每天得到的数据范围应该超过100000条记录。但是,当我设置2个bigquery传输(每个所有者id一个)时,使用相同的后缀,因此数据将进入相同的表。传输丢失了很多数据 传输状态显示成功,但有时我只收到4000-5000条记录,而不是100000多条记录。但有时我有100000张唱片 问题1: bigquery传输是否可能只完成部分数据的传输?我的理解是bigquery传输是“全部或无”。如果成功,则完成所有传输。如果失败,则传输零条记录 虽然,我确实在某些情况下看到bigquery失败

通常,我每天得到的数据范围应该超过100000条记录。但是,当我设置2个bigquery传输(每个所有者id一个)时,使用相同的后缀,因此数据将进入相同的表。传输丢失了很多数据

传输状态显示成功,但有时我只收到4000-5000条记录,而不是100000多条记录。但有时我有100000张唱片

问题1:

bigquery传输是否可能只完成部分数据的传输?我的理解是bigquery传输是“全部或无”。如果成功,则完成所有传输。如果失败,则传输零条记录

虽然,我确实在某些情况下看到bigquery失败,但状态显示为complete

问题2:

当我设置两个传输时,两个传输都将数据发送到同一个表,我可以看到失败率大幅增加

在这个过程中,这两个传输是否会发生冲突?

好的

我确认了

例如,我有帐户1和帐户2

  • 运行帐户1的转移,我得到100000行
  • 运行帐户2的转移,我得到5000行
  • 但是我将帐户1的转账和帐户2的转账设置到同一个表(相同的后缀)

  • 我运行帐户1转账,我得到100000行
  • 然后我运行account 2 transfer,我丢失了account 1 transfer刚刚生成的100000行,但我得到了account 2生成的5000行

  • 由bigquery专家建议。对我无法设置两次传输来将数据转储到一个表中。由于bigquery,传输回填为“删除并插入”