Filesystems 创建群集文件服务器系统

Filesystems 创建群集文件服务器系统,filesystems,cluster-computing,Filesystems,Cluster Computing,我目前有3个文件服务器,每个文件服务器都有一个由24个磁盘组成的raid 6阵列 问题是,有没有办法让它们作为一个大驱动器而不是3个独立的系统工作。我需要更多的吞吐量,我认为这是可能的。可能是像Hadoop这样的分布式文件系统?答案取决于此硬件上数据的预期用途。 Hadoop文件系统HDFS——是一种适合MapReduce处理的特殊需要的东西。主要的限制,对其预期用途来说是可以的,但对其他人来说是有问题的: a) 文件不能编辑,只能追加 b) 存储许多小文件会有问题。它专为大小为64 MB及以上

我目前有3个文件服务器,每个文件服务器都有一个由24个磁盘组成的raid 6阵列


问题是,有没有办法让它们作为一个大驱动器而不是3个独立的系统工作。我需要更多的吞吐量,我认为这是可能的。可能是像Hadoop这样的分布式文件系统?

答案取决于此硬件上数据的预期用途。 Hadoop文件系统HDFS——是一种适合MapReduce处理的特殊需要的东西。主要的限制,对其预期用途来说是可以的,但对其他人来说是有问题的:
a) 文件不能编辑,只能追加
b) 存储许多小文件会有问题。它专为大小为64 MB及以上的文件设计。此限制的原因是所有元数据都存储在内存中
c) 它不是posix兼容的FS,因此您不能在应用程序不知道HDFS的情况下装载它并将其用作常规文件系统

我会考虑类似GLUSTYFS、CEPH或LUSTE之类的选项,它们与您所描述的相似。需要更多的信息来给出选择其中一个的好建议