Google cloud platform 我可以在项目之间运行dataflowjob吗?

Google cloud platform 我可以在项目之间运行dataflowjob吗?,google-cloud-platform,google-cloud-storage,google-cloud-dataflow,google-cloud-spanner,Google Cloud Platform,Google Cloud Storage,Google Cloud Dataflow,Google Cloud Spanner,我想将项目A中的云扳手数据作为AVRO导出到项目B中的GCS。 如果我在项目B中的服务帐户在项目A中被授予了扳手.read访问权限,我是否可以使用模板从项目B运行数据流作业:Cloud\u panner\u to\u GCS\u Avro并写入项目B中的GCS 我已在console和以下命令中进行了尝试: gcloud dataflow jobs run my_job_name --gcs-location='gs://dataflow-emplates/latest/Cloud_Spanne

我想将项目A中的云扳手数据作为AVRO导出到项目B中的GCS。 如果我在项目B中的服务帐户在项目A中被授予了扳手.read访问权限,我是否可以使用模板从项目B运行数据流作业:Cloud\u panner\u to\u GCS\u Avro并写入项目B中的GCS

我已在console和以下命令中进行了尝试:

gcloud dataflow jobs run my_job_name 
--gcs-location='gs://dataflow-emplates/latest/Cloud_Spanner_to_GCS_Avro' 
--region=my_region 
--parameters='instanceId=name_of_instance,databaseId=databaseid,outputDir=my_bucket_url 
--service-account-email=my_serviceaccount_email
我不确定如何指定扳手实例的projectId。 使用ProjectB中的这个命令,它在ProjectB:Spanner中查找,但找不到实例和数据库

我尝试设置:instanceId=projects/id\u of\u project\u A/instances/
实例的名称,但它不是有效的输入

是的,您可以,您必须在


我建议您使用“用户管理的服务帐户”。默认的一个是Compute Engine默认服务帐户,主机项目上有
编辑器
角色,授权太多……

,因此答案似乎是,对于某些模板,或者如果您编写自定义模板,但不是我想要使用的模板,则可以从Panner批量导出到GCS Avro文件。
并且它可能会在以后的模板更新中添加。

它应该可以工作。试试看。我已经试过了,但是在如何指定项目A:s扳手数据库的路径上遇到了问题,好的,谢谢,然后我知道这是可能的。如何在项目A中指定到扳手实例的路径。我尝试过这个方法,但没有成功:gcloud数据流作业运行my_name--gcs location='gs://dataflow templates/latest/Cloud_panner_to_gcs_Avro'--region=my_region--parameters='instanceId=projects/id_of_project_/instances/name_of_of_instance,databaseId=databaseId,outputDir=my_bucket\u url--服务帐户电子邮件=my_serviceaccount\u电子邮件尝试添加以下参数:实例的名称、数据库id=databaseId、outputDir=my_bucket\u url、项目的span项目id\u
。到,我想有一个未记录的参数是的,我得到了这个错误:parameterViolations:-描述:无法识别的参数参数:扳手项目看起来像是在最新的模板发布之后添加的。它应该包含在下一个版本中。