Google bigquery 从teradata到bigquery的数据迁移

我的要求是将数据从teradata数据库迁移到GoogleBigQuery数据库，其中表结构和模式保持不变。稍后，我将使用bigquery数据库生成报告

---

有人能建议我如何做到这一点吗？

我认为你应该尝试TDCH以Avro格式将数据导出到谷歌云存储。TDCH运行在hadoop之上，并行导出数据。然后，您可以将数据从avro文件导入BigQuery。

我是白皮书中解决此问题的团队的一员

白皮书记录了将数据从Teradata数据库迁移到Google BigQuery的过程。它强调了在规划这种性质的迁移时要考虑的几个关键领域，包括Apache NIFI作为首选数据流技术的原理、迁移前的考虑、迁移阶段的细节和迁移后的最佳实践。

---

链接：

我认为您也可以尝试使用cloud composer（apache airflow）或在实例中安装apache airflow。

---

如果您可以从Teradata DB打开端口，那么您可以从那里运行“gsutil”命令，并通过airflow/composer计划每天运行作业。它速度快，您可以利用气流的调度功能。

您在谷歌上搜索过吗？到目前为止你试过什么？是的，我们可以将teradata数据导出到平面文件中，也可以在bigquery中导入平面文件。我手动创建了一个.csv文件，并使用它在bigquery中创建了一个表。但我怀疑teradata中的表是否具有不同的表结构，当我们在bigquery中导出到平面文件时，我们是否能够获得相同的表结构，因为我还没有访问teradata以检查这一点。