Google bigquery Google数据流-BigQuery导入作业BigQuery/WriteToBigQuery/NativeWrite失败

这里有一个大的数据流作业，大约700 Gb的数据通过最后一次写入BigQuery进行格式化

我们在2.15.0和2.16.0（Python SDK）上都遇到了一个问题，在最后一步尝试创建导入作业时，该步骤似乎失败了：

工作流失败。原因：S04:xxx到BigQuery/WriteToBigQuery/NativeWrite失败，BigQuery导入作业“dataflow_job_511174833371680339”失败，为项目“xxx”中数据集“xxx”中的表“xxx”创建导入作业的BigQuery失败，BigQuery执行失败，未知错误。

这似乎是最后一步，需要花费大量的CPU时间才能到达这里，直到最终由于未知错误而失败，并且没有明显的方法来修复它。如上所述，我们已经尝试使用不同版本的SDK运行（因为2.16.0中似乎有一些与BigQuery相关的更改），但我们基本上被大量的CPU时间占用，没有任何明显的后续步骤

---

任何关于我们可以尝试解决问题的想法都将不胜感激

能否在BigQuery网页中找到失败的BigQuery导入作业？->（左上角的菜单按钮）->BigQuery->Job History->Project History。然后搜索数据流_作业_51117483337168035339。看看是否有一个失败的，看看是否有任何失败的原因。此外，请查看工作日志中是否有任何信息。下面是查找它们的一些说明。不幸的是，我找不到失败的作业，因为它似乎无法首先尝试创建导入作业（没有匹配项）。此外，我们在日志中没有看到任何超出上面发布内容的错误。看起来其他人也发生了这种情况：。在找到修复/解决方案之前，作为一种变通方法，理论上您可以手动将Dataflow作为其管道的一部分写入GCS的文件加载到BigQuery中。这是可行的吗？请考虑尝试使用--Time= UsHyBeaMaqBQSink，这可以解决这个问题。否则，您可能需要通过谷歌云支持来解决此问题。为了解决这些可能是每个案例特有的错误，最好的方法是使用谷歌云平台支持打开一个新案例。通过这种方式，我们可以排除故障并尝试找到解决方案。