Hadoop “是什么意思?”;HDFS缺少随机读写访问权限“是吗?”;?

Hadoop “是什么意思?”;HDFS缺少随机读写访问权限“是吗?”;?,hadoop,hbase,hdfs,Hadoop,Hbase,Hdfs,任何文件系统都应该提供API来访问其文件和目录等 那么,“HDFS缺少随机读写访问”是什么意思呢 因此,我们应该使用HBase。默认HDFS块大小为128 MB。所以你不能在这里读一行,在那里读一行。您总是读取和写入128 MB块。当您想要处理整个文件时,这很好。但它使HDFS不适合于某些应用程序,例如您希望使用索引查找小记录的应用程序 另一方面,HBase在这方面很好。如果你想读一条小记录,你只能读那条小记录 HBase使用HDFS作为其备份存储。那么,它如何提供高效的基于记录的访问呢 HBa

任何文件系统都应该提供API来访问其文件和目录等

那么,“HDFS缺少随机读写访问”是什么意思呢


因此,我们应该使用HBase。

默认HDFS块大小为128 MB。所以你不能在这里读一行,在那里读一行。您总是读取和写入128 MB块。当您想要处理整个文件时,这很好。但它使HDFS不适合于某些应用程序,例如您希望使用索引查找小记录的应用程序

另一方面,HBase在这方面很好。如果你想读一条小记录,你只能读那条小记录

HBase使用HDFS作为其备份存储。那么,它如何提供高效的基于记录的访问呢

HBase将表从HDFS加载到内存或本地磁盘,因此大多数读取不会转到HDFS。突变首先存储在仅附加的日志中。当日记账变大时,它被构建到“附录”表中。当补遗表太多时,它们都会压缩到一个全新的主表中。阅读时,首先查阅期刊,然后查阅附录表,最后查阅主表。这个系统意味着,当我们有一个完整的HDFS块的更改时,我们只写一个完整的HDFS块


对这种方法的更全面的描述见。

在典型的数据库中,数据以RDBMS格式存储在表中,您可以读取或写入任何表中的任何记录,而无需知道其他记录中有什么内容。这称为随机写入/读取


但在HDFS中,数据以文件格式(通常)而不是表格格式存储。因此,如果您正在读/写,它不像在RDBMS中那么容易。

但是hbase也使用HDFS。所以,它实际上仍然不能解决这个限制。很好。我不是专家,但我已经添加了我如何理解HBase解决这个问题的描述。