Google cloud platform 如何将Bigquery数据集和DAG从一个GCP组织传输/移动到另一个GCP组织
我有一个关于将GCP资源(DAG、数据集、BigQuery表)从一个源GCP项目迁移到另一个目标GCP项目(两个项目都位于不同的GCP组织)的技术问题 我的意思是,我已经知道我们可以在区域之间以及项目之间(在相同的项目中)迁移/传输BigQuery数据集和DAG: 例如: 要在区域之间迁移数据集和DAG,请执行以下操作:Google cloud platform 如何将Bigquery数据集和DAG从一个GCP组织传输/移动到另一个GCP组织,google-cloud-platform,Google Cloud Platform,我有一个关于将GCP资源(DAG、数据集、BigQuery表)从一个源GCP项目迁移到另一个目标GCP项目(两个项目都位于不同的GCP组织)的技术问题 我的意思是,我已经知道我们可以在区域之间以及项目之间(在相同的项目中)迁移/传输BigQuery数据集和DAG: 例如: 要在区域之间迁移数据集和DAG,请执行以下操作: 创建云编写器环境(在美国地区) 创建两个云存储桶;一个位于源区域,另一个位于目标区域 创建BigQuery目标数据集(在EU中) 定义composer工作流(基本上创建一个虚拟
使用bq命令行工具将表从一个项目复制到另一个项目。 您可以查看以下示例命令: 资料来源: 项目编号:123456789123 数据集:数据集1 表:表1 目的地: 项目编号:0987654321098 数据集:数据集2 表:表2 命令: bq cp 123456789123:dataset1.table1 0987654321098:dataset2.table2 通过shell脚本(shell脚本+bq工具):
但是,我如何在组织之间迁移这些GCP资源?我的意思是,我在一个源组织中有一些数据集和DAG 需要复制/转移到在不同GCP组织中创建的目标项目 我怎么做呢 非常感谢 问候,
export SOURCE_DATASET=$1 # project1:dataset
export DEST_PREFIX=$2 # project2:dataset2.any_prefix_
for f in `bq ls $SOURCE_DATASET |grep TABLE | awk '{print $1}'`
do
export CP_COMMAND="bq cp $SOURCE_DATASET.$f $DEST_PREFIX$f"
echo $CP_COMMAND
echo `$CP_COMMAND`
done