Google cloud storage ';gsutil cp';返回恢复上载的md5

Google cloud storage ';gsutil cp';返回恢复上载的md5,google-cloud-storage,Google Cloud Storage,在我的上传由于未知原因被终止后,我尝试再次运行gsutil cp命令恢复它们,我得到的只是以下消息 Catching up md5 for resumed upload 但是没有其他事情发生,进程一直在运行,但我的传输永远不会恢复可恢复上载处理程序在上载文件时动态计算MD5。如果上传在没有任何中断的情况下完成(即,不需要恢复尝试),则效果良好。不幸的是,在恢复时,需要从头开始重建MD5状态,或者“赶上”恢复点(对于大型文件,这可能需要很长时间) 一个可能的优化是在上传继续的同时并行地在线程中进

在我的上传由于未知原因被终止后,我尝试再次运行gsutil cp命令恢复它们,我得到的只是以下消息

Catching up md5 for resumed upload

但是没有其他事情发生,进程一直在运行,但我的传输永远不会恢复

可恢复上载处理程序在上载文件时动态计算MD5。如果上传在没有任何中断的情况下完成(即,不需要恢复尝试),则效果良好。不幸的是,在恢复时,需要从头开始重建MD5状态,或者“赶上”恢复点(对于大型文件,这可能需要很长时间)


一个可能的优化是在上传继续的同时并行地在线程中进行追赶。如果您(或任何人)对实现此功能感兴趣,我们欢迎提交代码。有关如何执行此操作的详细信息,请参阅“gsutil help dev”。请注意,所讨论的代码实际上在boto库中。

1小时后,我的一个上载继续,尽管我仍在等待其他上载。我想构建超过200GB的md5文件需要时间。有没有更好的方法来处理上传简历?当你说这可能需要很长时间。从零开始下载需要较少的时间,还是等待下载恢复会更快?filesize:200GB filesize:500GB和filesize 2000GB Hi Yaseen—从头开始不会花费更少的时间,因为这将需要执行相同的MD5计算,并重新上载字节。恢复(并赶上MD5状态)比从头开始工作要少得多,还可以节省网络流量。