Nosql 用于文件I/O的Hbase以及在远程客户端上连接HDFS的方法

Nosql 用于文件I/O的Hbase以及在远程客户端上连接HDFS的方法,nosql,hadoop,hbase,hdfs,Nosql,Hadoop,Hbase,Hdfs,在你阅读之前,请注意我的英语不流利。 我是NoSQL的新手,现在尝试使用HBase进行文件存储。-我将文件作为二进制文件存储在HBase中。 我不需要任何统计数据。我唯一需要的是文件存储。 推荐吗 我担心I/O速度 事实上,因为我找不到任何方法在没有hadoop的情况下连接HDFS,所以我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置Hadoop。我试图找到一些库,比如JDBC for RDBMS,它们可以帮助客户机连接HDF以获取文件。但我什么也找不到,只是选择了HBase而不是

在你阅读之前,请注意我的英语不流利。 我是NoSQL的新手,现在尝试使用HBase进行文件存储。-我将文件作为二进制文件存储在HBase中。 我不需要任何统计数据。我唯一需要的是文件存储。 推荐吗

我担心I/O速度

事实上,因为我找不到任何方法在没有hadoop的情况下连接HDFS,所以我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置Hadoop。我试图找到一些库,比如JDBC for RDBMS,它们可以帮助客户机连接HDF以获取文件。但我什么也找不到,只是选择了HBase而不是连接库


有人能帮我吗?

这取决于你的文件大小。在Hbase中,通常不建议存储文件或LOB,默认的最大keyvalue大小为10mb。我已经提高了这个限制,并使用>100mb的值运行测试,但您确实要冒着让RegionServer退出的风险,因为它必须在内存中保存整个值—请小心配置JVM内存

当在hbase用户列表中询问此类问题时,通常的回答是,如果文件可能很大,建议使用HDFS


您应该能够使用Thrift连接到HDFS,从而绕过在客户端计算机上安装Hadoop客户端。

非常感谢~!在阅读您的答案之前,我已经进行了HDFS和HBase之间的读/写性能测试。结果就是这样。文件大小:20k~1m文件计数:200 HDFS写入:50079读取:44953 HBase写入:16640读取:2766我是否错过了什么~?@Byung我不确定我是否理解-这些文件/秒的性能数字是多少?当您有许多客户端时,Hbase通常在吞吐量方面大放异彩。如果您使用的是Java,那么您可能需要研究一个问题。