Google cloud dataflow 写入大查询时数据流作业失败-未找到JSON文件

我们最近遇到了一个数据流作业失败，因为它找不到要加载到大查询中的json文件。我的理解是json文件是由数据流生成的，这是一种意外状态

这项工作已经每天运行将近一年了，这是我们第一次看到这个错误。随后的运行也很成功

2015年10月26日下午3:13:32 S15:（1c654a773802760a）：工作流失败。原因：（1c654a773802735f）：BigQuery导入作业“数据流_作业_11909924374132686736”失败。原因：（1c654a77380270b4）：项目“project_name”中的BigQuery作业“dataflow_job_11909924374132686736”已完成，但出现错误：作业错误：未找到：Google存储文件gs://cdf/binaries/denormalization/11909924374132684847/-00081-of-00120.json，错误：未找到：Google存储文件gs://cdf/binaries/denormalization/11909924374132684847/-00081-of-00120.json

---

工作id:2015-10-25_21_01_46-11909924374132686437可能是丢失的文件

---

未找到：Google存储文件gs://cdf/binaries/denormalization/11909924374132684847/-00081-of-00120.json可能是一个丢失的文件

---

找不到：Google存储文件gs://cdf/binaries/denormalization/11909924374132684847/-00081-of-00120.json

嘿！按照您的解释，这听起来更像是一个问题，而不是可以在堆栈上解决的问题。我建议在这里发布到Dataflow用户语音论坛：Dataflow通过写入临时文件，然后运行BigQuery导入作业，将数据加载到BigQuery表中，将绑定的PCollections写入BigQuery。看到文件丢失是非常意外的。我们正在进行内部调查，以了解为什么会发生这种情况。如果你再次看到它，请告诉我们。谢谢@Frances，我们从那以后就再也没有看到过它，但如果我们看到了，会告诉你的。嘿！按照您的解释，这听起来更像是一个问题，而不是可以在堆栈上解决的问题。我建议在这里发布到Dataflow用户语音论坛：Dataflow通过写入临时文件，然后运行BigQuery导入作业，将数据加载到BigQuery表中，将绑定的PCollections写入BigQuery。看到文件丢失是非常意外的。我们正在进行内部调查，以了解为什么会发生这种情况。如果你再看到它，请告诉我们。谢谢@Frances，我们从那以后就再也没有看到过，但如果我们看到了，会告诉你的。