Google bigquery 将数据流插入BigQuery失败，亚洲东北1位置有大量文件

我使用云存储文本在CloudComposer上创建BigQuery模板

该模板是从Python google api客户端踢出的

同样的程序

• 在美国位置运行良好（适用于数据流和BigQuery）
• 在亚洲-东北1位置失败
• 适用于亚洲东北部地区更少的（少于10000个）输入文件

有人知道这件事吗？ 由于商业原因，我想在亚洲东北部执行职务

---

有关故障的更多详细信息：

该程序一直工作到“ReifyRenameInput”，程序失败

出现以下错误消息：

java.io.IOException: Unable to insert job: beam_load_textiotobigquerydataflow0releaser0806214711ca282fc3_8fca2422ccd74649b984a625f246295c_2a18c21953c26c4d4da2f8f0850da0d2_00000-0, aborting after 9 . 

at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:231)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:202)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startCopyJob(BigQueryServicesImpl.java:196)
 at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.copy(WriteRename.java:144) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.writeRename(WriteRename.java:107) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.processElement(WriteRename.java:80)
 Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 
404 Not Found { "code" : 404, "errors" : [ { "domain" : "global", "message" : "Not found: Dataset pj:datasetname", "reason" : "notFound" } ], "message" : "Not found: Dataset pj:datasetname" }

（pj和数据集名称不是实名，它们是可输出参数的项目名称和数据集名称）

虽然错误消息说找不到数据集，但数据集确实存在

---

此外，程序完成后，在数据集中创建了一些似乎是临时表的新表。

这是与您的Beam SDK版本相关的已知问题。Beam 2.5.0 SDK版本没有此问题。

谢谢您的评论，但我看不到您的页面（谷歌内部的moma…）。你能给我另一个链接吗？