Google bigquery 如何将海量数据（50 TB）从内部SAP Hana迁移到GCP

上下文：

数据仓库是使用HANA上的SAP BW构建的。它运行了相当长的一段时间。它有超过50TB的数据。作为一项战略决策，数据必须在GCP上迁移到BigQuery（一次性活动）

问题：

导出如此庞大的数据的最佳、非侵入式方法是什么，请将其采用BigQuery格式。

---

上传这不是问题，因为它可以通过专用的云互连上传。

根据谷歌的最佳实践，您应该使用它来传输数据

但如果你想尝试专用云互连，你可以试试。 传输数据：您可以尝试以下选项：-

通过文件从HANA DB导出数据

通过所需的通道将文件传输到云存储

在GCS上获得数据后，可以通过多个选项将数据上载到Bigquery（从GCS导出数据、创建数据流作业以及将数据上载到BQ的脚本）

---

你的问题缺乏细节，可能过于宽泛。例如，您声明“采用BigQuery格式”。现在是什么格式？“最佳、非侵入性的方式”对贵公司意味着什么？展示你已经完成的研究以及你遇到的问题。如今，100兆字节的速度很容易实现。移动/转换/导入50 TB的数据仍然需要数百个机器小时才能完成。这意味着“非侵入性”可能是一个问题。