Google cloud dataflow 波束/数据流警告&;地面军事系统中的僵尸桶

Google cloud dataflow 波束/数据流警告&;地面军事系统中的僵尸桶,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我们有一个Beam/Dataflow管道(使用Dataflow SDK 2.0.0-beta3&在GCP上运行),它使用模板功能。每当我们运行它时,它总是发出以下警告: 11:05:30,484 0 [main] INFO org.apache.beam.sdk.util.DefaultBucket - No staging location provided, attempting to use default bucket: dataflow-staging-us-central1-

我们有一个Beam/Dataflow管道(使用Dataflow SDK 2.0.0-beta3&在GCP上运行),它使用模板功能。每当我们运行它时,它总是发出以下警告:

11:05:30,484 0    [main] INFO  org.apache.beam.sdk.util.DefaultBucket - No staging location provided, attempting to use default bucket: dataflow-staging-us-central1-435085767562
11:05:31,930 1446 [main] WARN  org.apache.beam.sdk.util.RetryHttpRequestInitializer - Request failed with code 409, will NOT retry: https://www.googleapis.com/storage/v1/b?predefinedAcl=projectPrivate&predefinedDefaultObjectAcl=projectPrivate&project=<redacted>"
11:05:30484 0[main]INFO org.apache.beam.sdk.util.DefaultBucket-未提供暂存位置,正在尝试使用默认存储区:dataflow-staging-us-central1-435085767562
11:05:31930 1446[main]WARN org.apache.beam.sdk.util.RetryHttpRequestInitializer-请求失败,代码为409,将不会重试:https://www.googleapis.com/storage/v1/b?predefinedAcl=projectPrivate&predefinedDefaultObjectAcl=projectPrivate&project="
但是,我们正在设置
--stagingLocation
参数,我们可以看到所有二进制文件/jar等都被上传到
--stagingLocation
参数中指定的bucket中

然而,Beam/Dataflow随后在我们的项目中的GCS中创建以下僵尸桶:
Dataflow-staging-us-central1-435085767562


如果我们清楚地设置了
--stagingLocation
参数,为什么会发生这种情况?

我怀疑是这样。具体地说,尽管错误表明您需要指定
--stagingLocation
,但实际上需要指定
--templation

您是否能够提供用于创建模板p的命令ipeline?您在创建它时指定了--stagingLocation吗?您使用什么命令启动管道?我只是想了解设置stagingLocation时所指的命令