Hadoop 128 MB的HDFS块能否存储两个大小分别为1MB的不同ORC文件?

Hadoop 128 MB的HDFS块能否存储两个大小分别为1MB的不同ORC文件?,hadoop,hdfs,orc,Hadoop,Hdfs,Orc,我正在研究Hadoop的存储方面,并探索ORC文件如何存储在HDFS块上。在HDFS中,文件是由块组成的。一个块不能容纳多个文件 两个ORC文件,每个文件有1MB,每个文件需要一个块 如果您担心它可能消耗的实际磁盘存储空间,那么它将仅为2MB。虽然数据块为128MB,但磁盘存储空间由实际文件/数据块的大小决定。谢谢@franklinsijo。另外,如果一个ORC文件中有两个part-m文件,会发生什么情况?它们仍然保留在一个块上还是占用两个不同的块。你是说一个ORC文件包含两个part-m文件的

我正在研究Hadoop的存储方面,并探索ORC文件如何存储在HDFS块上。

在HDFS中,文件是由块组成的。一个块不能容纳多个文件

两个ORC文件,每个文件有1MB,每个文件需要一个块


如果您担心它可能消耗的实际磁盘存储空间,那么它将仅为2MB。虽然数据块为128MB,但磁盘存储空间由实际文件/数据块的大小决定。

谢谢@franklinsijo。另外,如果一个ORC文件中有两个part-m文件,会发生什么情况?它们仍然保留在一个块上还是占用两个不同的块。你是说一个ORC文件包含两个part-m文件的内容?那么它只是一个文件。块的数量取决于结果文件的大小和orc块的大小。如果orc文件大小为200mb,块大小为128mb,那么两个块。这澄清了我的疑问。非常感谢@franklinsijo