Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/328.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在hadoop源代码中,哪个类将mapreduce作业连接到其数据集?_Java_Hadoop_Mapreduce_Hadoop2 - Fatal编程技术网

Java 在hadoop源代码中,哪个类将mapreduce作业连接到其数据集?

Java 在hadoop源代码中,哪个类将mapreduce作业连接到其数据集?,java,hadoop,mapreduce,hadoop2,Java,Hadoop,Mapreduce,Hadoop2,我已经阅读了hadoop common/src/util中的类,但找不到将作业与其数据集关联的类 Hadoop如何知道哪个map reduce作业与哪个数据集相关?这由InputFormat决定 更准确地说:每个MapReduce作业都分配了一个org.apache.hadoop.MapReduce.InputFormat(请参见org.apache.hadoop.MapReduce.job#setInputFormatClass)的实现,框架使用该实现来确定输入拆分(=输入“数据集”) 您可以

我已经阅读了hadoop common/src/util中的类,但找不到将作业与其数据集关联的类


Hadoop如何知道哪个map reduce作业与哪个数据集相关?

这由InputFormat决定

更准确地说:每个MapReduce作业都分配了一个
org.apache.hadoop.MapReduce.InputFormat
(请参见
org.apache.hadoop.MapReduce.job#setInputFormatClass
)的实现,框架使用该实现来确定输入拆分(=输入“数据集”)

您可以搜索键
mapreduce.job.inputformat.class
,以检查作业中使用了哪个实现,当然还可以设置自己的实现