Google cloud storage Gsutil同步与cp-n
我希望定期备份一些GCS存储桶,有时这些存储桶可能包含大量文件(超过200000个,总文件大小为5tb)Google cloud storage Gsutil同步与cp-n,google-cloud-storage,rsync,cp,gsutil,Google Cloud Storage,Rsync,Cp,Gsutil,我希望定期备份一些GCS存储桶,有时这些存储桶可能包含大量文件(超过200000个,总文件大小为5tb) 使用多线程/多进程rsync似乎仍然需要花费太长的时间来建立同步状态(这需要它完全取决于您传输的对象的平均文件大小。如果您有许多小文件,那么我建议不要使用-n(无阻塞)。因为对于每个文件,它都必须发送一个请求以检查该文件是否已存在 在您的情况下,您的平均文件大小约为25mb。我从未做过任何测试,以找到使用无重击选项的盈亏平衡点。但在您的情况下,我认为这可能有助于加快速度。但如果您的平均文件大
使用多线程/多进程rsync似乎仍然需要花费太长的时间来建立同步状态(这需要它完全取决于您传输的对象的平均文件大小。如果您有许多小文件,那么我建议不要使用-n(无阻塞)。因为对于每个文件,它都必须发送一个请求以检查该文件是否已存在 在您的情况下,您的平均文件大小约为25mb。我从未做过任何测试,以找到使用无重击选项的盈亏平衡点。但在您的情况下,我认为这可能有助于加快速度。但如果您的平均文件大小超过100mb,影响会更大 要知道,价格不是一个因素,因为GCP入口是免费的。如果价格是一个因素,您当然会选择无障碍选项,以传输更少的数据 无clobber。如果指定,则在 未替换目标。此操作跳过的任何项目 选项被报告为已跳过。gsutil执行额外的GET 请求在尝试上载项目之前检查项目是否存在 这样可以避免gsutil重新传输数据,但是 HTTP请求可能会使小对象传输变得更慢、更频繁 昂贵的
在哪里运行gsutil命令?存储桶是什么类型的存储?位置和类别如何?能否添加更多信息?存储桶备份的位置在哪里?