Google cloud platform 谷歌云欧洲地区bigquery和dataflow不匹配

Google cloud platform 谷歌云欧洲地区bigquery和dataflow不匹配,google-cloud-platform,google-bigquery,google-cloud-dataflow,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,for bigquery数据集声明以下欧洲地区可用(A): 欧洲-北方1 欧洲-西方3 欧洲-西方2 欧洲-西方6 数据流状态为可用的欧洲区域(B): 欧洲西部1 西欧4 如您所见,这些区域之间没有重叠 我们正在构建一个应用程序 从php后端创建数据集、bigquery表等 使用python脚本将数据从各种源转移到bigquery到数据流 事后看来,我们很愚蠢,把我们的项目分成了两部分,这两部分是独立完成的。两者都有效。从来没有人想到这会成为我们的问题(现在应该很明显): php

for bigquery数据集声明以下欧洲地区可用(A):

  • 欧洲-北方1
  • 欧洲-西方3
  • 欧洲-西方2
  • 欧洲-西方6
数据流状态为可用的欧洲区域(B):

  • 欧洲西部1
  • 西欧4
如您所见,这些区域之间没有重叠

我们正在构建一个应用程序

  • 从php后端创建数据集、bigquery表等
  • 使用python脚本将数据从各种源转移到bigquery到数据流
事后看来,我们很愚蠢,把我们的项目分成了两部分,这两部分是独立完成的。两者都有效。从来没有人想到这会成为我们的问题(现在应该很明显):

  • php api不能与B一起工作
  • 数据流脚本无法与
  • 数据流无法在区域之间读写
  • 出于合规性原因,我们无法在欧盟之外托管数据

我们如何解决第22条难题?

您将
区域端点
与工作虚拟机为数据流管道旋转并实际处理数据的实际区域/区域混淆了


区域端点
处理元数据并协调数据流管道。如果指定
--zone
,则数据流的实际工作虚拟机将在其中旋转。

您将
区域端点
与数据流管道的工作虚拟机旋转并实际处理数据的实际区域/区域混淆


区域端点
处理元数据并协调数据流管道。如果指定
--zone
,则数据流的实际工作虚拟机将在该区域中启动。

您可以在任何区域/分区中部署数据流。您是否尝试过使用
--zone
覆盖该区域?您可以在任何区域/分区中部署数据流。您是否尝试过用
--zone
覆盖区域?是的,混淆的是区域(后缀为-a或-b)在其区域端点内,我不知何故认为那些区域是该区域唯一可用的区域,但诀窍是从不同的区域端点定义区域。我会用一个具体的例子来编辑你的答案,如果你同意的话,我会接受它。是的,混淆的是区域(有一个像-a或-b这样的后缀)在它们的区域端点内,我不知怎的认为那些区域是该区域唯一可用的区域,但诀窍是从不同的区域端点定义一个区域。如果你同意的话,我会用一个具体的例子来编辑你的答案并接受它。