Google cloud platform 从Google云数据存储迁移到Google云sql

我们正在为我们的谷歌应用程序引擎（GAE）应用程序使用谷歌云数据存储。在项目改造期间，我们希望将数据库从数据存储迁移到Google Cloud SQL

我们在数据存储中有大约1 TB的数据，不包括索引

如何从数据存储迁移到云SQL，是否有任何现有的开源解决方案可用于此

我已经检查了下面的一个 ，这对在数据存储和sql之间迁移数据没有帮助

---

感谢您可以使用导出到JSON文件，然后运行脚本将JSON文件读取到云sql中。

有不同的方法来管理这一点，我认为最简单的方法是按照Jim Morrison所说的，使用云数据存储到JSON数据流模板。这种方法也有不同的可能性：

首先使用该命令将公共模板下载到本地：

 gsutil cp gs://dataflow-templates/latest/Datastore_to_GCS_Text .

（注意不要删除最后一个。您可以更改到要下载它的目录）

然后，正如Jim Morrison在他的回答中所解释的那样，编辑下载的文件并使用您自己的文件更改模板参数

完成后，再次将其上传到您拥有的存储桶中。例如：

gsutil cp Datastore_to_GCS_Text gs://datastore_to_cloudsql/template/

然后可以使用GCP控制台运行作业（通过使用自定义模板从模板创建作业）

当您拥有JSON文件时，将其转换为CSV并将其导入云SQL。另外，可能需要添加一个函数，因为模板参数允许直接将导出的数据转换为CSV格式，而不是JSON文件

提供的JSON格式是一个文档，其中填充了这样的行，我对其进行了格式化以使其更清晰：

{
  "key":{"partitionId":{"projectId":"MY_PROJECT_ID"},
  "path":[{"kind":"MY_KIND_NAME","id":"4814888656437248"}]},
  "properties":{
    "MY_FIRST_COLUMN":{"integerValue_FOR_EXAMPLE":"3_INT_VALUE_EXAMPLE"},
    "SECOND_COLUMN":{"stringValue_FOR_EXAMPLE":"foobarfoobarfoobar_FOR_EXAMPLE"},
    "THIRD_COLUMN":{"stringValue_FOR_EXAMPLE":"foobar_FOR_EXAMPLE"}
  }
}

1：

2：

3：