Architecture 文件服务器分布式缓存

Architecture 文件服务器分布式缓存,architecture,filesystems,distributed,Architecture,Filesystems,Distributed,我们有一个非常大的文件服务器(HTTP和/或FTP)。一些文件随后被大约5个系统使用。例如,系统A将使用文件A和B,然后系统B将使用文件A和C 是否有应用程序(最好是免费的或开源的)可以在系统中缓存那些常用的文件 我在寻找鱿鱼的替代品。谢谢。你看了吗?我自己也没用过,但它似乎正是你想要的 如果我们讨论的是将文件存储在100Mbs,那么Hadoop将是解决这个问题的推荐选择。但是根据社区的说法,Hadoop不太适合kB或

我们有一个非常大的文件服务器(HTTP和/或FTP)。一些文件随后被大约5个系统使用。例如,系统A将使用文件A和B,然后系统B将使用文件A和C

是否有应用程序(最好是免费的或开源的)可以在系统中缓存那些常用的文件


我在寻找鱿鱼的替代品。谢谢。

你看了吗?我自己也没用过,但它似乎正是你想要的

如果我们讨论的是将文件存储在100Mbs,那么Hadoop将是解决这个问题的推荐选择。但是根据社区的说法,Hadoop不太适合kB或<200-300MB的文件

对于这种情况,大多数建议使用基于Hadoop的HBase。该组合同时提供高可用性和可扩展性。但是这样说Hadoop的设置可能比人们想要的要大,例如,开发/测试集群的大小是由4~5台服务器组成,而生产环境的最小值是10台以上的服务器


squid web缓存的一个有效替代方法是。

只是出于兴趣,当你说“大”时,你指的是大量文件吗?还是说有很多要求?(或两者都有?)文件多久更改一次?