Google cloud storage Gcloud数据流作业无法写入临时位置

Google cloud storage Gcloud数据流作业无法写入临时位置,google-cloud-storage,google-cloud-dataflow,gcloud,Google Cloud Storage,Google Cloud Dataflow,Gcloud,我正在使用gcloud cli调用数据流作业。我的命令如下所示 gcloud dataflow jobs run avrojob4 \ --gcs-location=gs://dataflow-templates/latest/Cloud_Bigtable_to_GCS_Avro \ --region=europe-west1 \ --parameters bigtableProjectId="project-id",bigtableInstanceId="instance-id",bigtab

我正在使用gcloud cli调用数据流作业。我的命令如下所示

gcloud dataflow jobs run avrojob4 \
--gcs-location=gs://dataflow-templates/latest/Cloud_Bigtable_to_GCS_Avro \
--region=europe-west1 \
--parameters bigtableProjectId="project-id",bigtableInstanceId="instance-id",bigtableTableId="table-id",outputDirectory="gs://avro-data/avrojob4/",filenamePrefix="avrojob4-"
以及:

有人能帮助我如何通过上述命令将temp location作为特定值传递吗?

此命令没有
--temp location
标志:

我怀疑您试图通过创建标志来解决问题,但是,正如您所看到的,这不起作用

  • 水桶存在吗
  • Dataflow服务帐户是否具有适当的写入权限
您能否
gsutil ls gs://dataflow-staging-us-central1-473832897378

如果是,那么数据流服务很可能没有写入bucket的权限。请查看以下链接中的说明,以添加数据流(!)服务帐户的正确权限:


您好,问题是我的存储空间中没有列出bucket名称(同样,当我尝试使用错误日志中提到的确切名称创建bucket时,它显示bucket名称已被使用)。因此,如果可能的话,我尝试使用一些参数将现有的bucket链接到我的作业。我尝试执行上面的命令,它显示“AccessDeniedException:403”-cronjobs@b-chef2-dqs-1eqs757.iam.gserviceaccount.com没有对dataflow-staging-us-central1-473832897378的storage.objects.list访问权限。“而我也可以这样做(gsutil ls)对于我的项目中“存储浏览器”下列出的具有上述相同服务帐户的其他存储桶,我怀疑您试图使用其他人的存储桶(可能是文档中的谷歌存储桶)。您需要创建并引用自己的GCS存储桶。我已经创建了自己的存储桶,但我不确定如何引用它。。你能给我指一些例子或文件吗?(如如何将我的GCS存储桶指向数据流命令)
ERROR: Failed to write a file to temp location 'gs://dataflow-staging-us-central1-473832897378/temp/'. Please make sure that the bucket for this directory exists, and that the project under which the workflow is running has the necessary permissions to write to it.