Linux 有什么解决方案可以在Web服务器上高效备份数百万个映像文件和子目录?

Linux 有什么解决方案可以在Web服务器上高效备份数百万个映像文件和子目录?,linux,ftp,compression,backup,subdirectory,Linux,Ftp,Compression,Backup,Subdirectory,我有一个在Linux VPS上托管的网站,多年来一直在增长。它的主要功能之一是存储图像/照片,这些图像文件的大小通常在20-40kB左右。目前网站的组织方式是,所有图像都存储在根文件夹“照片”中,根文件夹下有许多由随机文件名确定的子文件夹。例如,一个图像可以有一个文件名abcdef1234.jpg,该文件名将存储在文件夹photos/ab/cd/ef/中。这样做的好处是没有包含过多图像的目录,而且访问文件速度很快。然而,整个照片目录是巨大的,并且正在增长。目前,我在成千上万的子文件夹中有近50万

我有一个在Linux VPS上托管的网站,多年来一直在增长。它的主要功能之一是存储图像/照片,这些图像文件的大小通常在20-40kB左右。目前网站的组织方式是,所有图像都存储在根文件夹“照片”中,根文件夹下有许多由随机文件名确定的子文件夹。例如,一个图像可以有一个文件名abcdef1234.jpg,该文件名将存储在文件夹photos/ab/cd/ef/中。这样做的好处是没有包含过多图像的目录,而且访问文件速度很快。然而,整个照片目录是巨大的,并且正在增长。目前,我在成千上万的子文件夹中有近50万张照片,虽然系统运行良好,但备份起来相当麻烦。我需要建议,我可以做什么,使生活更容易备份。目前,我每次都备份整个照片目录,我通过压缩文件夹并下载来完成备份。这需要一段时间,并且会给服务器带来一些压力。我这样做是因为我使用的每一个FTP客户端都要花很长时间来筛选所有文件,并按日期查找最新的文件。此外,我希望能够在发生灾难性Web服务器故障时快速恢复整个照片集,因此,即使我可以递归地备份数据,也需要一步一步地上传每个备份,这有多麻烦


有没有人从经验中有什么建议?我不是Web服务器管理员,我对Linux的经验非常有限。我也研究了CDN和Amazon S3,但这需要对我的站点进行大量更改,以使这些系统正常工作–也许我将来会使用类似的方式。

既然您表示您运行VPS,我假设您具有shell访问权限,这将大大提高您的灵活性(与只能与web前端和FTP客户端进行交互的共享网络托管计划不同)。我很确定这是专门为完成您需要的任务而设计的(在机器之间同步大量文件,并高效地执行)


这会进入超级用户领域,因此您可能会在该论坛上获得更多建议。

首先,您不应该“压缩文件夹”。我不得不假设,图像文件都已压缩,因此在其上运行压缩程序不会带来任何好处,但会使服务器承受大量CPU周期的浪费。我压缩文件夹的唯一原因是使其更易于通过FTP下载,否则会花费很长时间!如果你是说将一堆文件捆绑到一个文件夹中le archive file,你可以不用压缩或试图压缩就可以做到。我对Linux不是很了解。你能简单地分享一下我是如何做到的,这样我就可以尝试一下吗?ThxOn Linux,只需使用tar。do man tar看看它是如何工作的。嗨,是的,我有shell访问权限,我会研究一下的。谢谢。我听说过rsync,但现在没有给出太多还有帐篷,谢谢。