Google cloud storage 如何在谷歌云存储中下载多个文件

Google cloud storage 如何在谷歌云存储中下载多个文件,google-cloud-storage,google-cloud-platform,Google Cloud Storage,Google Cloud Platform,场景:存储桶中存储有多个文件夹和许多文件,项目团队成员可以访问这些文件夹和文件。有没有办法下载整个文件夹,而不是一次下载一个文件(这既慢又耗时)?或者一次至少有多个文件?无需使用其中一个命令控制台,这是否可行?一些团队成员不懂技术,需要尽可能简单地访问这些文件。谢谢你的帮助 我建议他们使用。GCS的API一次只处理一个对象。然而,它的命令行实用程序gsutil非常乐意并行下载一组对象。使用gsutil下载整个GCS“文件夹”非常简单: $> gsutil cp -r gs://my-buc

场景:存储桶中存储有多个文件夹和许多文件,项目团队成员可以访问这些文件夹和文件。有没有办法下载整个文件夹,而不是一次下载一个文件(这既慢又耗时)?或者一次至少有多个文件?无需使用其中一个命令控制台,这是否可行?一些团队成员不懂技术,需要尽可能简单地访问这些文件。谢谢你的帮助

我建议他们使用。GCS的API一次只处理一个对象。然而,它的命令行实用程序gsutil非常乐意并行下载一组对象。使用gsutil下载整个GCS“文件夹”非常简单:

$> gsutil cp -r gs://my-bucket/remoteDirectory localDirectory

我建议使用
gsutil
下载这些文件。但是,如果要传输大量文件,则可能需要使用gsutil
-m
选项来执行并行(多线程/多处理)复制:

下载文件所需的时间可以大大减少。有关地面军事系统
cp
命令的完整信息,请参见本节

如果要复制到特定目录中,请注意该目录必须首先存在,因为
gsutils
不会自动创建它。(例如:
mkdir my bucket local copy&&gsutil-m cp-r gs://your bucket my bucket local copy


要将文件下载到本地计算机,需要:

  • 安装到本地计算机

  • 运行googlecloudsdkshell

  • 按如下方式运行命令(例如,对于Windows平台):

  • gsutil-mcp-rgs://source\u folder\u路径“%userprofile%/Downloads”
    
    他们是如何下载的?通过用户界面?难以置信的是,到2020年,这样一个基本选项不可用。刚到这里是因为我想一次下载整个文件夹,但无法。。。看起来gsutils选项是唯一的选项。嗨,有没有一种方法可以通过python API来实现这一点,仅针对内容?我发现了get_media(restapi中的alt=media)函数,但是循环数千个文件很耗时。如果能一次把所有的东西都放在某个前缀下,那就太酷了。不,对不起。循环列表调用的结果正是
    gsutil
    所做的,只是它使用多个线程。
    gsutil -m cp -R gs://your-bucket .