Google cloud storage 通过Python将许多小文件上传到Google云存储的推荐方法

我有一个项目，定期需要将数百万个微小（1-3KB）的图像文件上传到谷歌云存储。推荐的方法/库是什么？我目前正在使用，但不知道是否有更好的库。我最近遇到过，但它似乎更慢（使用

blob.upload\u from\u filename（）

）

我希望能够通过Python（windows）实现这一点，但如果其他选项提供了显著的性能优势，我愿意接受

---

有什么建议吗？

在gsutil中进行了大量优化，我怀疑使用原始库是否会更快，而无需付出很大的努力（尽管它可能比大量文件更适合传输大文件）

尝试将-m标志添加到您的cp命令中，以便多线程上载。

---

在此之后，您可能只能跨多台计算机并行化（每台计算机复制文件的一个子集）。

Hi@ScottDavis。我的理解是，gsutil是一个由谷歌制作的命令行实用程序，您可以将其安装在本地计算机上与云接口。我同意你的说法，在python中使用API似乎有点麻烦。在我所有的python代码中，我都使用gsutil命令行和子流程模块。也许值得看看我对另一个问题的回答，看看它是否对您有帮助：）