Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 作业中的绘图员数_Hadoop_Hdfs - Fatal编程技术网

Hadoop 作业中的绘图员数

Hadoop 作业中的绘图员数,hadoop,hdfs,Hadoop,Hdfs,我的问题是 将在mapreduce作业中创建多少个mapper,以处理两个非常小的文件,其中包含以下内容: 文件1: 1约翰 玛丽 文件2: 3.彼得 4.布拉德 这将是两个制图员吗?或者我们必须知道hdfs块的大小? 我们不能设置这么小的块大小。 最小数据块是64MB 答案是2..hadoop永远不会为您连接2个文件,即使它们比块大小小/大得多…hdfs的默认值是64,而不是64minimum@Cugar如果要在单个映射中处理两个文件,可以指定多个文件路径

我的问题是

将在mapreduce作业中创建多少个mapper,以处理两个非常小的文件,其中包含以下内容:

文件1: 1约翰 玛丽

文件2: 3.彼得 4.布拉德

这将是两个制图员吗?或者我们必须知道hdfs块的大小? 我们不能设置这么小的块大小。
最小数据块是64MB

答案是2..hadoop永远不会为您连接2个文件,即使它们比块大小小/大得多…hdfs的默认值是64,而不是64minimum@Cugar如果要在单个映射中处理两个文件,可以指定多个文件路径