Database 小文件的大容量存储策略
对于数百万个小文件（平均约50 KB）的大容量存储，自动删除超过20分钟的文件的好策略是什么？我需要从web服务器写入和访问它们 我目前正在使用ext4，在delete（在cron中调度）期间，HDD的使用率高达100%，其中[flush-8:0]显示为创建负载的进程。此负载会干扰服务器上的其他应用程序。没有删除时，最大硬盘利用率为0-5%。嵌套和非嵌套目录结构的情况相同。最糟糕的是，峰值负载期间的质量删除速度似乎比插入速度慢，因此需要删除的文件数量越来越大 我尝试过改变调度程序（截止日期、cfq、noop），但没有效果。我也尝试过将ionice设置为删除脚本，但也没有效果 我在MongoDB 2.4.3中试用过GridFS，它的性能很好，但在大量删除旧文件时却很糟糕。我尝试过在日志关闭（nojournal）的情况下运行MongoDB，并且没有对删除和插入（w=0）进行写入确认，但没有任何帮助。只有在没有删除的情况下，它才能快速平滑地工作 我也尝试过在MySQL 5.5中，在BLOB列中，在InnoDB表中存储数据，InnoDB引擎设置为使用InnoDB_buffer_pool=2GB，InnoDB_log_file_size=1GB，InnoDB_flush_log_on_trx_commit=2，但性能更差，HDD负载总是在80%-100%（预期，但我不得不尝试）。表只使用BLOB列、DATETIME列和CHAR（32）latin1_bin UUID，UUID和DATETIME列上有索引，所以并没有优化的余地，所有查询都使用索引 我已经研究了pdflush设置（Linux flush进程，它在大规模删除过程中创建负载），但是更改这些值并没有任何帮助，所以我恢复了默认设置 不管我多久运行一次自动修剪脚本，每1秒、每1分钟、每5分钟、每30分钟，它都会显著地中断服务器 我曾尝试存储inode值，在删除旧文件时，先用inode编号对它们进行排序，然后按顺序删除旧文件，但没有帮助 使用CentOS 6。HDD是SSD RAID 1Database 小文件的大容量存储策略,database,linux,performance,optimization,filesystems,Database,Linux,Performance,Optimization,Filesystems,对于数百万个小文件（平均约50 KB）的大容量存储，自动删除超过20分钟的文件的好策略是什么？我需要从web服务器写入和访问它们 我目前正在使用ext4，在delete（在cron中调度）期间，HDD的使用率高达100%，其中[flush-8:0]显示为创建负载的进程。此负载会干扰服务器上的其他应用程序。没有删除时，最大硬盘利用率为0-5%。嵌套和非嵌套目录结构的情况相同。最糟糕的是，峰值负载期间的质量删除速度似乎比插入速度慢，因此需要删除的文件数量越来越大 我尝试过改变调度程序（截止日期、cf
对于我的任务来说，有什么好的、合理的解决方案可以解决自动修剪性能问题呢？删除是一种性能问题，因为数据和元数据都需要在磁盘上销毁 它们真的需要是单独的文件吗？旧文件是否真的需要删除，或者如果被覆盖是否可以 如果第二个问题的答案是“否”，请尝试以下方法：
- 保留一个按年龄大致排序的文件列表。也许可以按文件大小将其分块
- 当您要写入新文件时，请查找一个旧文件，该文件最好比您要替换的文件大。与其将旧文件吹走，不如将其截断为适当的长度，然后覆盖其内容。确保更新旧文件列表
- 清理那些没有被明确替换过的旧东西
- 在这些文件中建立索引可能是有利的。尝试使用一个
，其中包含指向真实文件系统的符号链接tmpfs
- 通过将每个文件作为偏移量存储到大小相似的文件数组中，将大小相似的文件保存在一起。如果每个文件都是32k或64k，请将一个文件保留为32k块，将一个文件保留为64k块。如果文件的大小是任意的，则四舍五入到下一个二次方
- 通过跟踪每个文件的过时程度，您可以在这里进行延迟删除。如果您正试图写入某个内容，但该内容已过时，请覆盖它，而不是附加到文件末尾
truncate（）unlink（）还有另一种想法：XFS的写排序模型比ext4的
data=ordered如果出于某种原因，您需要将所有文件放在一个位置，请使用
tmpfstmpfs