Google cloud platform 如何将Bigquery数据集和DAG从一个GCP组织传输/移动到另一个GCP组织

Google cloud platform 如何将Bigquery数据集和DAG从一个GCP组织传输/移动到另一个GCP组织,google-cloud-platform,Google Cloud Platform,我有一个关于将GCP资源(DAG、数据集、BigQuery表)从一个源GCP项目迁移到另一个目标GCP项目(两个项目都位于不同的GCP组织)的技术问题 我的意思是,我已经知道我们可以在区域之间以及项目之间(在相同的项目中)迁移/传输BigQuery数据集和DAG: 例如: 要在区域之间迁移数据集和DAG,请执行以下操作: 创建云编写器环境(在美国地区) 创建两个云存储桶;一个位于源区域,另一个位于目标区域 创建BigQuery目标数据集(在EU中) 定义composer工作流(基本上创建一个虚拟

我有一个关于将GCP资源(DAG、数据集、BigQuery表)从一个源GCP项目迁移到另一个目标GCP项目(两个项目都位于不同的GCP组织)的技术问题

我的意思是,我已经知道我们可以在区域之间以及项目之间(在相同的项目中)迁移/传输BigQuery数据集和DAG:

例如:

要在区域之间迁移数据集和DAG,请执行以下操作:
  • 创建云编写器环境(在美国地区)
  • 创建两个云存储桶;一个位于源区域,另一个位于目标区域
  • 创建BigQuery目标数据集(在EU中)
  • 定义composer工作流(基本上创建一个虚拟任务->将BQ表导出到bucket->从bucket导入表)
  • 将DAG和依赖项上载到bucket
  • 手动触发DAG
  • 要在项目之间迁移数据集和DAG,请执行以下操作:
    使用bq命令行工具将表从一个项目复制到另一个项目。 您可以查看以下示例命令:

    资料来源:

    项目编号:123456789123 数据集:数据集1 表:表1

    目的地:

    项目编号:0987654321098 数据集:数据集2 表:表2

    命令: bq cp 123456789123:dataset1.table1 0987654321098:dataset2.table2

    通过shell脚本(shell脚本+bq工具):


    但是,我如何在组织之间迁移这些GCP资源?我的意思是,我在一个源组织中有一些数据集和DAG 需要复制/转移到在不同GCP组织中创建的目标项目

    我怎么做呢

    非常感谢

    问候,

    export SOURCE_DATASET=$1  # project1:dataset
    export DEST_PREFIX=$2  # project2:dataset2.any_prefix_
    for f in `bq ls $SOURCE_DATASET |grep TABLE | awk '{print $1}'`
    do
     export CP_COMMAND="bq cp $SOURCE_DATASET.$f $DEST_PREFIX$f"
     echo $CP_COMMAND
     echo `$CP_COMMAND`
    done