Google cloud storage 下载前使用GSUTIL解压部分文件

Google cloud storage 下载前使用GSUTIL解压部分文件,google-cloud-storage,Google Cloud Storage,我正在用gsutil从GCS下载一堆ZIP文件。然后我将它们解压缩到本地驱动器,只保留一些我需要的文件 gsutil cp gs://uspto-pair/applications/*.zip . unzip -jo \\*.zip *SRNT.pdf -d ./SRNT_files 这很好,但在bandwith上似乎很浪费(我扔掉了大部分内容) 有没有办法在GCS上解压文件,然后只下载我需要的部分?没有,云存储没有足够的智能来实现这一点。如果带宽有问题,请从计算引擎实例执行该操作

我正在用gsutil从GCS下载一堆ZIP文件。然后我将它们解压缩到本地驱动器,只保留一些我需要的文件

gsutil cp gs://uspto-pair/applications/*.zip .    
unzip  -jo  \\*.zip *SRNT.pdf -d ./SRNT_files
这很好,但在bandwith上似乎很浪费(我扔掉了大部分内容)


有没有办法在GCS上解压文件,然后只下载我需要的部分?

没有,云存储没有足够的智能来实现这一点。如果带宽有问题,请从计算引擎实例执行该操作。下载速度将非常快


您也可以使用App Engine,但内存更为有限,您无法访问文件系统(因此您必须将下载的所有内容保留在内存中)。这并不容易,除非你只有小文件(@David,我也在尝试做同样的事情。)因此,与其问一个新问题,我宁愿问你一些“从计算引擎实例执行该操作”的详细说明。我不知道你的意思或如何做,你能帮我吗?也许可以更新你的答案。