Hadoop HDFS块创建

Hadoop HDFS块创建,hadoop,hdfs,microsoft-distributed-file-system,Hadoop,Hdfs,Microsoft Distributed File System,我想知道如何创建块。默认情况下,它是在文件系统上创建64MB块,还是基于文件传输活动创建块 假设我已经设置了一个10节点的集群设置。我正在所有节点上安装hadoop。现在如何创建块。一旦启动hdfs服务,就会在linux系统上创建块。它是否创建了一个包含4k块的物理64 MB块?(基本块大小) 或 当我移动一个大小为128 MB的文件时,将创建两个块。块创建是否在两个节点中并行进行?哪个组件将实际将文件分割为块 我只是hadoop的初学者,因此问这些问题是为了获得清晰的理解这是我为HDFS初学者

我想知道如何创建块。默认情况下,它是在文件系统上创建64MB块,还是基于文件传输活动创建块

假设我已经设置了一个10节点的集群设置。我正在所有节点上安装hadoop。现在如何创建块。一旦启动hdfs服务,就会在linux系统上创建块。它是否创建了一个包含4k块的物理64 MB块?(基本块大小)

当我移动一个大小为128 MB的文件时,将创建两个块。块创建是否在两个节点中并行进行?哪个组件将实际将文件分割为块


我只是hadoop的初学者,因此问这些问题是为了获得清晰的理解

这是我为HDFS初学者找到的最好的材料。它只是通过生动的漫画回答你的问题

A good client always knows these two things: BlockSize and Replication Factor
HDFS被解释为漫画

HDFS块与普通文件系统块不同。它们不基于文件传输活动,并且无论集群中有多少节点,块都是相同的。默认情况下,每个块的复制系数也为3。128MB文件将至少使用2个块,因为一个文件可以跨越多个块,并且块可以包含部分文件。您的意思是,一旦我们在所有节点上安装并执行HDFS服务,HDFS块就会在(多个4k)的linux文件系统上创建。一旦输入文件到达,系统将把文件分割成64MB(比如)并放入一个块中。正确,HDFS是集群中的一个逻辑文件系统,将集群中的所有物理文件系统集中在一起。我相信是Mapreduce处理文件拆分并将这些拆分写入磁盘,我认为不是Mapreduce。因为即使我将文件移动到hdfs,文件也会被分割成块。所以hdfs服务可以做到。好吧,我可以告诉你这些文件不是直接复制的。。。联系namenode,然后分配一个块,并将文件拆分“映射到”并“减少”为HDFS datanode块。。。整个过程对于StackOverflow帖子来说太广泛了,所以这里是我找到的第一个链接。