通过命令行上的Hadoop作业客户端提交Hadoop作业

通过命令行上的Hadoop作业客户端提交Hadoop作业,hadoop,mapreduce,Hadoop,Mapreduce,我一直在试图找到有关如何通过命令行提交hadoop作业的信息 我知道命令-hadoop jar文件主类的输入输出 还有另一个命令,我正在尝试查找有关该命令的信息,但尚未能够-hadoop作业-提交作业文件 什么是“作业文件”以及如何创建作业文件?命令(a)和命令(b)的基本区别是什么?哪一个是更好的选择 提前感谢。以下是运行wordcount Map reduce作业的作业文件示例。 同样,您可以为Map Reduce作业编写作业文件 mapred.input.dir=data/file1.tx

我一直在试图找到有关如何通过命令行提交hadoop作业的信息

我知道命令-hadoop jar文件主类的输入输出

还有另一个命令,我正在尝试查找有关该命令的信息,但尚未能够-hadoop作业-提交作业文件

什么是“作业文件”以及如何创建作业文件?命令(a)和命令(b)的基本区别是什么?哪一个是更好的选择


提前感谢。

以下是运行wordcount Map reduce作业的作业文件示例。 同样,您可以为Map Reduce作业编写作业文件

mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable
对我来说,“Hadoop Jar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。
感谢

以下是运行wordcount Map reduce作业的作业文件示例。 同样,您可以为Map Reduce作业编写作业文件

mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable
对我来说,“Hadoop Jar”更好,因为在作业文件中完成的配置可以在程序本身中轻松完成。 谢谢