Google cloud dataflow 无法重命名输出文件

我们的数据流作业从GS文件夹中读取两个文本文件，对其进行转换，并在将其写入BigQuery数据集之前将其合并，但在合并步骤之前失败，原因是：

无法将输出文件从gs://xxx重命名为gs://xxxx

似乎在合并开始之前已删除临时文件？

发现问题！

---

两个FlatMap函数中的一个因数据格式错误而失败。提示其他任何遇到类似问题的人：首先使用DirectRunner调试所有map/pardo/etc函数

您可以共享您的管道代码吗？您使用的是哪个版本的Dataflow SDK？你写的GCS桶上有任何TTL吗？是否有作业ID可供我们查看以了解更多详细信息？管道：`collection1=load\u all\u from\u tsv（路径1）collection2=load\u all\u from\u tsv（路径2）（（collection1，collection2）|'Flaten both'>>beam.flatte（）|'格式化行'>>beam.FlatMap（我们的格式化函数）|“写入BigQuery”>>beam.io.Write（beam.io.bigQueryLink（'project.outputdataset'，schema=schema，create_disposition=beam.io.BigQueryDisposition.create_如果需要，写入_disposition=beam.io.BigQueryDisposition.Write_APPEND）））`这是使用dataflow SDK v0.6实现的，但我刚刚升级到最新版本（2.0.0）。梁也是（2.0.0）。