Hadoop 作业中的绘图员数
我的问题是 将在mapreduce作业中创建多少个mapper,以处理两个非常小的文件,其中包含以下内容: 文件1: 1约翰 玛丽 文件2: 3.彼得 4.布拉德 这将是两个制图员吗?或者我们必须知道hdfs块的大小? 我们不能设置这么小的块大小。Hadoop 作业中的绘图员数,hadoop,hdfs,Hadoop,Hdfs,我的问题是 将在mapreduce作业中创建多少个mapper,以处理两个非常小的文件,其中包含以下内容: 文件1: 1约翰 玛丽 文件2: 3.彼得 4.布拉德 这将是两个制图员吗?或者我们必须知道hdfs块的大小? 我们不能设置这么小的块大小。 最小数据块是64MB 答案是2..hadoop永远不会为您连接2个文件,即使它们比块大小小/大得多…hdfs的默认值是64,而不是64minimum@Cugar如果要在单个映射中处理两个文件,可以指定多个文件路径
最小数据块是64MB 答案是2..hadoop永远不会为您连接2个文件,即使它们比块大小小/大得多…hdfs的默认值是64,而不是64minimum@Cugar如果要在单个映射中处理两个文件,可以指定多个文件路径