Google cloud platform 将文件从GCS传输到GCE的最快方式

我有一个1TB的文件，我正在寻找一种最快的方式，将其从与GCE实例位于同一区域的GCS存储桶中传输。我尝试过使用

gsutil

和其他一些控制台util，但我似乎没有在这两者之间获得那么快的传输速度（我相信这与curl命令类似，因为它使用公共互联网）。这是一台大型机器，内存约为100GB或更大

以最快的方式传输文件的建议方法是什么？这似乎是相关的，但我有点迷失在所有可能的“解决方案”这个问题

从那时起，我能得到的最快速度是：

david@instance-2:~$ time gsutil -o 'GSUtil:parallel_thread_count=1' 
                                -o 'GSUtil:sliced_object_download_max_components=8' \
                                cp gs://gcp-files/Sales20M.csv .
Copying gs://gcp-files/Sales20M.csv...
/ [1 files][  1.1 GiB/  1.1 GiB]
Operation completed over 1 objects/1.1 GiB.

real    0m4.559s
user    0m10.787s
sys     0m5.527s

---

这看起来相当不错——1GB文件大约5秒，所以略高于1GB/s。这是您认为的上限吗？或者是否有其他方法可以加快速度？

从专用地址进入网络不受任何限制，因此除此之外，您可能会受到持久磁盘吞吐量的限制（因为您正在移动一个大文件）。根据您编写的内容，您想到的唯一应该检查的是持久磁盘的大小。根据您的需要，当使用HDD时，您的永久磁盘需要至少4TB才能达到最大写入吞吐量（400MB/s），当使用SSD时，您的永久磁盘需要至少1667GB才能达到800MB/s。

来自专用地址的网络入口不受任何限制，因此除此之外，您可能会受到永久磁盘吞吐量的限制（因为您正在移动一个大文件）. 根据您编写的内容，您想到的唯一应该检查的是持久磁盘的大小。根据您的需要，使用HDD时，永久磁盘需要至少4TB才能达到最大写入吞吐量（400MB/s），使用SSD时，永久磁盘需要至少1667GB才能达到800MB/s。

GCE实例的大小是多少？实例越大，网络带宽越高（每个核心2 Gbit）

gsutil

是一个Python程序，编写一个并行下载的程序。你的问题使用了大量的语句，如“最快”、“大型”等。为了得到一个好的答案，请使用实际情况，你的目标是什么，以及你愿意做些什么来实现这个目标（编写一个程序，购买工具，只使用免费软件等）。@JohnHanley我尝试了两台4.8TB机器（超内存机器之一）一台100GB的计算机，它们的性能大致相同：GCE实例的大小是多少？实例越大，网络带宽就越高（每个核心2 Gbit）。

gsutil

是一个Python程序，编写一个并行下载的程序。你的问题使用了很多语句，如“最快”、“最大”等。要得到一个好的答案，请使用实际情况，你的目标是什么，你愿意做什么来实现这个目标（写一个程序，购买工具，只使用免费软件，…。@JohnHanley我试过4.8TB的机器（超级内存机器之一）和100GB的机器，它们的性能差不多：