Google cloud dataflow DataflowRunner管道错误-无法重命名

Google cloud dataflow DataflowRunner管道错误-无法重命名,google-cloud-dataflow,Google Cloud Dataflow,我的数据流作业从GS bucket读取一个CSV文件,查询另一个服务以获取额外数据,并将其写入新的CSV文件并存储回bucket,但在开始抓取输入CSV文件之前,它似乎会下降 这是我得到的错误: DataflowRuntimeException-数据流管道失败。状态:失败,错误: 无法将“gs://../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-

我的数据流作业从GS bucket读取一个CSV文件,查询另一个服务以获取额外数据,并将其写入新的CSV文件并存储回bucket,但在开始抓取输入CSV文件之前,它似乎会下降

这是我得到的错误: DataflowRuntimeException-数据流管道失败。状态:失败,错误:
无法将“gs://../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-1719661b275ca2ea-shard-try-273280d77b2c5b79-endshard.avro”重命名为“gs://../temp/job.1582402027.233469/tmp-1719661b275ca2ea-00000-of-1.avro”

你知道这个错误的原因是什么吗


通常,该错误是由于您在数据流作业中使用的服务帐户没有正确的GCS(谷歌云存储)权限


您应该向服务帐户添加一个类似“”的角色,以允许与地面军事系统进行交互

欢迎来到SO!我认为你可以提高你得到答案的机会