Linux 处理数百万文件的ext性能
我有一个10级树结构的文件系统，有4000万个文件（总共大约500 GB）。我的问题是备份。增量备份（bacula）需要9小时（约10 GB）的时间，但性能非常低。有些目录有50k个文件，其他有10k个文件。HDs是硬件RAID，我在上面有默认的Ubuntu LV。我认为这里的瓶颈是文件的数量（庞大的索引节点）。我正在努力提高性能（在同一个FS上以200k/s的读取速度进行完整备份需要4天以上的时间）。 -您认为将FS划分为几个较小的FS会有帮助吗？我可以有1000个更小的FS。。。 -您认为从HD移动到SSD会有所帮助吗？ -有什么建议吗Linux 处理数百万文件的ext性能,linux,filesystems,ext4,Linux,Filesystems,Ext4,我有一个10级树结构的文件系统，有4000万个文件（总共大约500 GB）。我的问题是备份。增量备份（bacula）需要9小时（约10 GB）的时间，但性能非常低。有些目录有50k个文件，其他有10k个文件。HDs是硬件RAID，我在上面有默认的Ubuntu LV。我认为这里的瓶颈是文件的数量（庞大的索引节点）。我正在努力提高性能（在同一个FS上以200k/s的读取速度进行完整备份需要4天以上的时间）。 -您认为将FS划分为几个较小的FS会有帮助吗？我可以有1000个更小的FS。。。 -您认为从
谢谢 移动到SSD将提高备份速度。SSD很快就会疲劳，您需要备份…
您不能组织一些您知道在哪里查找已更改/新文件的内容吗？ 这样，您需要增量备份这些文件夹 你的文件需要在线吗？你能有三层深的古树焦油档案吗 我想一个find-mtime-1也需要几个小时 我希望备份不是使用与de-tree结构相同的分区 （在/tmp下的一切都是一个非常糟糕的计划），bavkup可能创建的临时文件应该位于不同的分区上
新文件来自哪里？当您控制的进程更改了所有文件时，您的进程可以生成一个日志文件，其中包含已更改的文件列表。Hola Walter。。。通过FS爬行的每个文件系统操作。。。我说的是重新组织结构并归档不需要的文件夹……今天我统计了至少400万个用户不需要在线的文件。遗憾的是，备份将卷存储在/backup下，mysql数据库也在同一个巨大的FS上。移动这两个东西可以改善情况。我对生成的文件没有任何直接控制权，但通常每个文件夹都有10k到50k的文件。。。。我还认为任何SSD都会很快磨损……删除这些4M文件是一个开始。我不知道访问它们的要求，你能使用
find/yourpath-atime+30-typef-execrm{}