Mysql 存储HTML文件

Mysql 存储HTML文件,mysql,html,sql,filesystems,ext4,Mysql,Html,Sql,Filesystems,Ext4,我们有大约6000万个压缩格式的网页。我们希望分别对这些文件进行反压缩和处理 这里是我的问题 首先,如果我将它们解压缩到文件系统中,FS会处理这么多的文件吗。我的文件系统是ext4。(我有4个不同的文件系统,所以我可以在它们之间划分数据,就像每个文件系统有1500万页) 其次,将这些文件存储到关系数据库中是更好的选择吗?假设清除html文本的所有麻烦都在将它们插入数据库之前完成 谢谢,如果您将它们解压缩到单个目录中,您可能会超过该文件夹中分配的最大索引。如果你把它们提取到多个目录中,你会做得更好

我们有大约6000万个压缩格式的网页。我们希望分别对这些文件进行反压缩和处理

这里是我的问题

首先,如果我将它们解压缩到文件系统中,FS会处理这么多的文件吗。我的文件系统是ext4。(我有4个不同的文件系统,所以我可以在它们之间划分数据,就像每个文件系统有1500万页)

其次,将这些文件存储到关系数据库中是更好的选择吗?假设清除html文本的所有麻烦都在将它们插入数据库之前完成


谢谢,

如果您将它们解压缩到单个目录中,您可能会超过该文件夹中分配的最大索引。如果你把它们提取到多个目录中,你会做得更好

6000万绝对是一个公平的数字,如果你计划对它们进行任何索引或搜索,那么数据库将是你最好的选择,你可以使用类似
lucene
的方法对文件进行索引,这一切取决于你在提取完文件后想对它们做什么


我目前在一个大型用户站点上的图像也有类似的问题,我解决这个问题的方法是给每个图像一个GUID,并为GUID中的每个字节分配一个不同的目录,然后在子目录下的下一个字节(减少到8个字节)如果我的填充率增加,我将创建更多的子目录进行补偿,这也意味着我可以将其分布在不同的网络存储箱中

多谢各位。我想这就是我要做的。我会把它分成不同的目录,希望它能工作。