Google cloud platform 将大于5TB的对象上载到google云存储桶

Google cloud platform 将大于5TB的对象上载到google云存储桶,google-cloud-platform,storage,Google Cloud Platform,Storage,单个对象上载的最大大小限制为5TB。如何备份较大的单个工作负载?比如说,我有一个10TB或更大的文件需要备份到云存储 另外,还有一个相关的问题——如果10 TB的内存分布在单个文件夹中的多个文件(每个文件小于5 TB),那么这不会影响任何正确的操作吗?单个对象不能大于5TB,但实际存储桶大小没有限制。假设一个文件夹包含3个相当于10TB的对象,该上传将自动分割到多个存储桶(控制台或gsutil上传) 谢谢你说得对。这样,您可以拆分文件 关于总铲斗尺寸的限制,请参见本节。实际上,在概述中说。 你可

单个对象上载的最大大小限制为5TB。如何备份较大的单个工作负载?比如说,我有一个10TB或更大的文件需要备份到云存储

另外,还有一个相关的问题——如果10 TB的内存分布在单个文件夹中的多个文件(每个文件小于5 TB),那么这不会影响任何正确的操作吗?单个对象不能大于5TB,但实际存储桶大小没有限制。假设一个文件夹包含3个相当于10TB的对象,该上传将自动分割到多个存储桶(控制台或gsutil上传)

谢谢你说得对。这样,您可以拆分文件

关于总铲斗尺寸的限制,请参见本节。实际上,在概述中说。 你可以看看地面军事系统的功能

也许去看看

我写这篇文章是为了备份SRB,SRB是Google和Amazon bucketing的前身。但chunkup本身并不依赖于SRB或任何其他形式的存储

Usage: /usr/local/etc/chunkup -c chunkhandlerprog -n nameprefix [-t tmpdir] [-b blocksize]
-c specifies the chunk handling program to handle each chunk, and is required
-n specifies the nameprefix to use on all files created, and is required
-t specifies the temporary directory to write files to, and is optional.  Defaults to $TMPDIR or /tmp
-b specifies the length of files to create, and is optional.  Defaults to 1 gigabyte
-d specifies the number of digits to use in filenames.  Defaults to 5
您可以在中看到chunkup的示例用法