对于以下示例,Hadoop中生成了多少块?

对于以下示例,Hadoop中生成了多少块?,hadoop,hdfs,hadoop2,Hadoop,Hdfs,Hadoop2,假设我的HDFS块大小为64 MB 我有4个文件: 文件A:64MB*3+2MB 文件B:62MB 文件A应该有4个块,每个块有64MB,一个块有2MB 文件B应该有一个62 MB的块 所以总共应该有6个街区 仅仅因为文件A的其中一个块中有“空闲”空间,它只存储2MB, 文件B不会附加到同一块中。对吗 我看过一些教程,他们说块中的“空闲”空间被利用了。正确,将有6个块。这意味着2MB块在物理上只占用datanode硬盘上的2MB,而不是完全的块大小,这将浪费空间 正确,将有6个区块。这意味着2M

假设我的HDFS块大小为64 MB

我有4个文件:

文件A:64MB*3+2MB

文件B:62MB

文件A应该有4个块,每个块有64MB,一个块有2MB

文件B应该有一个62 MB的块

所以总共应该有6个街区

仅仅因为文件A的其中一个块中有“空闲”空间,它只存储2MB, 文件B不会附加到同一块中。对吗


我看过一些教程,他们说块中的“空闲”空间被利用了。

正确,将有6个块。这意味着2MB块在物理上只占用datanode硬盘上的2MB,而不是完全的块大小,这将浪费空间

正确,将有6个区块。这意味着2MB块在物理上只占用datanode硬盘上的2MB,而不是完全的块大小,这将浪费空间

正确,将有6个区块。这意味着2MB块在物理上只占用datanode硬盘上的2MB,而不是完全的块大小,这将浪费空间

正确,将有6个区块。这意味着2MB块在物理上只占用datanode硬盘上的2MB,而不是完全的块大小,这将浪费空间

文件A-4块。3台64兆,1台2MB

文件B-1块。62MB大小

如果复制为3,则总共将有(4+1)*3=15个块


他们在视频中的意思似乎是,HDFS(数据节点)将再次利用本地文件系统中的空间,因为它构建在本地文件系统的顶部。如果块占用的空间小于64MB,则文件系统中的剩余空间将不被占用。它可以被其他文件的一些其他块使用。

文件A-4块。3台64兆,1台2MB

文件B-1块。62MB大小

如果复制为3,则总共将有(4+1)*3=15个块


他们在视频中的意思似乎是,HDFS(数据节点)将再次利用本地文件系统中的空间,因为它构建在本地文件系统的顶部。如果块占用的空间小于64MB,则文件系统中的剩余空间将不被占用。它可以被其他文件的一些其他块使用。

文件A-4块。3台64兆,1台2MB

文件B-1块。62MB大小

如果复制为3,则总共将有(4+1)*3=15个块


他们在视频中的意思似乎是,HDFS(数据节点)将再次利用本地文件系统中的空间,因为它构建在本地文件系统的顶部。如果块占用的空间小于64MB,则文件系统中的剩余空间将不被占用。它可以被其他文件的一些其他块使用。

文件A-4块。3台64兆,1台2MB

文件B-1块。62MB大小

如果复制为3,则总共将有(4+1)*3=15个块


他们在视频中的意思似乎是,HDFS(数据节点)将再次利用本地文件系统中的空间,因为它构建在本地文件系统的顶部。如果块占用的空间小于64MB,则文件系统中的剩余空间将不被占用。它可以被其他文件的其他块使用。

假设您在这里使用,块大小为64 MB

现在您有3个文件,每个文件64 MB。对于这些信息,每个块将有150Kb的元数据信息,这些信息将生成并保存在namenode中。 即使块大小为1 MB、50 MB或64 MB,元数据信息也是相同的

在您的场景文件中,A:64*3=3个块

2MB=1块

文件A的总计=3+1=4个块

文件B=62 MB=1块

内部工作原理:


我们假设,如果存储了一个50MB的文件,那么剩余的14MB(64-50=14MB)就会被浪费掉。但事实并非如此。您应该了解,即使文件大于64 MB,元数据信息也将是相同的。其余14 Mb将由元数据大小相同的另一个块使用。

假设您在这里使用的是64 Mb的块大小

现在您有3个文件,每个文件64 MB。对于这些信息,每个块将有150Kb的元数据信息,这些信息将生成并保存在namenode中。 即使块大小为1 MB、50 MB或64 MB,元数据信息也是相同的

在您的场景文件中,A:64*3=3个块

2MB=1块

文件A的总计=3+1=4个块

文件B=62 MB=1块

内部工作原理:


我们假设,如果存储了一个50MB的文件,那么剩余的14MB(64-50=14MB)就会被浪费掉。但事实并非如此。您应该了解,即使文件大于64 MB,元数据信息也将是相同的。其余14 Mb将由元数据大小相同的另一个块使用。

假设您在这里使用的是64 Mb的块大小

现在您有3个文件,每个文件64 MB。对于这些信息,每个块将有150Kb的元数据信息,这些信息将生成并保存在namenode中。 即使块大小为1 MB、50 MB或64 MB,元数据信息也是相同的

在您的场景文件中,A:64*3=3个块

2MB=1块

文件A的总计=3+1=4个块

文件B=62 MB=1块

内部工作原理:


我们假设,如果存储了一个50MB的文件,那么剩余的14MB(64-50=14MB)就会被浪费掉。但事实并非如此。您应该了解,即使文件大于64 MB,元数据信息也将是相同的。其余14 Mb将由元数据大小相同的另一个块使用。

假设您在这里使用的是64 Mb的块大小

现在您有3个文件,每个文件64 MB。对于信息,每个块将有150Kb的元数据信息,这些信息将生成并保存在t中