Google cloud dataflow 云数据流作业失败

Google cloud dataflow 云数据流作业失败,google-cloud-dataflow,Google Cloud Dataflow,我们的云数据流作业今天上午失败,出现以下错误: 2015年7月20日上午7:02:57(41114dff4e115290):工作流失败。原因: (ba1dfdda2b6af333):映射步骤的任务完成情况 “点击\u 07\u 2015-BQ-Read+点击\u 07\u 2015-ParDoDFP-transform+点击\u 07\u 2015-BQ-Write” 失败。原因:(3bcd8d4fd3828211):没有导出的文件 “gs://path/to/file/*.json” 在数据集

我们的云数据流作业今天上午失败,出现以下错误:

2015年7月20日上午7:02:57(41114dff4e115290):工作流失败。原因: (ba1dfdda2b6af333):映射步骤的任务完成情况 “点击\u 07\u 2015-BQ-Read+点击\u 07\u 2015-ParDoDFP-transform+点击\u 07\u 2015-BQ-Write” 失败。原因:(3bcd8d4fd3828211):没有导出的文件 “gs://path/to/file/*.json” 在数据集中导出表“Clicks_07_2015”后找到 “--dataset--”在项目“{--project--id-->”中

此作业在过去几天内一直成功运行,没有任何代码更改,今天上午已失败。我们可以看到,这个云存储文件夹中有一个json文件,所以我不确定为什么会失败。这是虫子吗


作业Id:2015-07-19_14_01_42-8050965853069761045

当表从BigQuery导出到云存储时,它们取决于该系统的最终一致性属性。在本例中,在重复重试之后,索引似乎仍然过时,此时数据流作业失败。我们将努力更好地处理这一特殊案件,感谢您的耐心等待

这应该是一种罕见的情况,但您可能会发现在重试循环中运行CLI以解决此场景非常有用