Google cloud storage Gsutil同步与cp-n
我希望定期备份一些GCS存储桶，有时这些存储桶可能包含大量文件（超过200000个，总文件大小为5tb）Google cloud storage Gsutil同步与cp-n,google-cloud-storage,rsync,cp,gsutil,Google Cloud Storage,Rsync,Cp,Gsutil,我希望定期备份一些GCS存储桶，有时这些存储桶可能包含大量文件（超过200000个，总文件大小为5tb） 使用多线程/多进程rsync似乎仍然需要花费太长的时间来建立同步状态（这需要它完全取决于您传输的对象的平均文件大小。如果您有许多小文件，那么我建议不要使用-n（无阻塞）。因为对于每个文件，它都必须发送一个请求以检查该文件是否已存在 在您的情况下，您的平均文件大小约为25mb。我从未做过任何测试，以找到使用无重击选项的盈亏平衡点。但在您的情况下，我认为这可能有助于加快速度。但如果您的平均文件大
使用多线程/多进程rsync似乎仍然需要花费太长的时间来建立同步状态（这需要它完全取决于您传输的对象的平均文件大小。如果您有许多小文件，那么我建议不要使用-n（无阻塞）。因为对于每个文件，它都必须发送一个请求以检查该文件是否已存在 在您的情况下，您的平均文件大小约为25mb。我从未做过任何测试，以找到使用无重击选项的盈亏平衡点。但在您的情况下，我认为这可能有助于加快速度。但如果您的平均文件大小超过100mb，影响会更大 要知道，价格不是一个因素，因为GCP入口是免费的。如果价格是一个因素，您当然会选择无障碍选项，以传输更少的数据 无clobber。如果指定，则在 未替换目标。此操作跳过的任何项目 选项被报告为已跳过。gsutil执行额外的GET 请求在尝试上载项目之前检查项目是否存在 这样可以避免gsutil重新传输数据，但是 HTTP请求可能会使小对象传输变得更慢、更频繁 昂贵的
在哪里运行gsutil命令？存储桶是什么类型的存储？位置和类别如何？能否添加更多信息？存储桶备份的位置在哪里？