Filesystems 里亚克vs格卢斯特夫

Filesystems 里亚克vs格卢斯特夫,filesystems,cluster-computing,riak,Filesystems,Cluster Computing,Riak,我需要设置一个数据存储,它可以存储PB级的文件(文件大多是小型json、图像和csv文件,但其中一些可以是~100MB的二进制文件) 我正在研究分布式数据存储,它是无主的,没有单点故障 我找到了里亚克和格卢斯特夫斯 我想问你们中有谁曾经使用过这两种方法吗 我知道那里的接口(DB/Map)非常不同。 但在我看来,它们都使用散列和类似的分布式技术。 它们是否具有类似的性能、一致性和可用性?对于纯OSS Riak来说,存储像您提到的100MB文件这样的较大文件不是正确的选择 在这种情况下,您真正应该使

我需要设置一个数据存储,它可以存储PB级的文件(文件大多是小型json、图像和csv文件,但其中一些可以是~100MB的二进制文件)

我正在研究分布式数据存储,它是无主的,没有单点故障

我找到了里亚克和格卢斯特夫斯

我想问你们中有谁曾经使用过这两种方法吗

我知道那里的接口(DB/Map)非常不同。 但在我看来,它们都使用散列和类似的分布式技术。
它们是否具有类似的性能、一致性和可用性?

对于纯OSS Riak来说,存储像您提到的100MB文件这样的较大文件不是正确的选择


在这种情况下,您真正应该使用的是新发布的Basho RIAKC。

选择主要取决于需求。一般来说,如果您实际上不需要真正的文件系统(带有挂载点、ACL管理等),只需要通过编程方式使用或服务文件,或者使用GlusterFS,我建议您使用Riak。

我们正在运行一个17节点(24GB RAM、2T磁盘)的Riak群集,带有Bitcask后端,存储大约10亿个3k对象。此设置性能良好,但资源非常密集。我们正在考虑从Riak转向GlusterFS,因为性能对我们来说并不重要。也许使用LevelDB作为后端也可以减轻我们的担忧


Riak的自愈特性似乎更强,配置似乎更容易。在您的情况下,我更愿意在GlusterFS上存储100MB的文件。

我对Riak没有经验,但GlusterFS的性能可能会让您期望更多。GlusterFS需要在所有服务器和客户端之间使用RDMA链接以获得高性能,因为GlusterFS非常喜欢执行同步操作。除了性能,GlusterFS是一个非常好的系统。GlusterFS在列出包含大量文件的目录列表时特别慢。