Google cloud platform 压缩google云存储桶中的目录，然后下载到本地目录

我在谷歌云存储桶

foo

中有一个名为

bar

的目录。目录

bar

中大约有100万个小文件（每个大约1-2kb）

根据我是否有大量文件，我应该使用

gsutil-m

选项下载文件，如下所示：

gsutil -m cp -r gs://foo/bar/ /home/username/local_dir

但是考虑到文件总数（大约10^6），下载文件的整个过程仍然很慢

---

有没有办法压缩云存储中的整个目录，然后将压缩后的目录下载到本地文件夹？

在复制之前，无法压缩云中的目录，但您可以通过跨多台机器分发处理来加快复制速度。例如，让脚本这样做

machine1没有

gsutil-mcp-rgs:///a*local\u dir

machine2不

gsutil-mcp-rgs:///b*local\u dir

等等

根据文件的命名方式，您可能需要调整上述内容，但希望您能理解