Hadoop Oozie Reduce Join不起作用
我安装了OOZIE并可以运行它,但OOZIE和我的项目还有另一个问题: Java代码工作正常,但当我尝试在Oozie中实现它时,它就不再工作了。Oozie中的映射阶段输出规范有问题,但我不知道是什么。Hadoop Oozie Reduce Join不起作用,hadoop,mapreduce,oozie,Hadoop,Mapreduce,Oozie,我安装了OOZIE并可以运行它,但OOZIE和我的项目还有另一个问题: Java代码工作正常,但当我尝试在Oozie中实现它时,它就不再工作了。Oozie中的映射阶段输出规范有问题,但我不知道是什么。 我的jar文件(名称wordcount1.jar)包括: --JoinMapper$MovieMapper --JoinMapper$FigureMapper --连接减速器 这是我的错误日志: 2016-03-09 01:24:30441信息CallbackServlet:539-用户[-]组
我的jar文件(名称wordcount1.jar)包括:
--JoinMapper$MovieMapper
--JoinMapper$FigureMapper
--连接减速器
这是我的错误日志:
2016-03-09 01:24:30441信息CallbackServlet:539-用户[-]组[-]令牌[-]应用[-]作业[0000017-160308222246102-oozie-oozie-W]操作[0000017-160308222246102-oozie-oozi]-W@wordcount1]行动回调[0000017-160308222246102-oozie-oozi-W@wordcount1]
2016-03-09 01:24:30812信息映射还原执行者:539-用户[培训]组[-]令牌[]应用程序[示例工作流]作业[0000017-160308222246102-oozie-oozie-W]操作[0000017-160308222246102-oozie-oozi-W@wordcount1]操作已完成,外部ID[job_201603082221_0037]
2016-03-09 01:24:30912警告MapReduceAction执行者:542-用户[培训]组[-]令牌[]应用程序[示例工作流]作业[0000017-160308222246102-oozie-oozi-W]操作[0000017-160308222246102-oozie-oozi-W@wordcount1]启动器错误,原因:Main类[org.apache.oozie.action.hadoop.MapReduceMain],Main()引发异常,null
2016-03-09 01:24:31120信息操作EndxCommand:539-用户[培训]组[-]令牌[]应用程序[示例工作流]作业[0000017-160308222246102-oozie-oozie-W]操作[0000017-160308222246102-oozie-oozi-W@wordcount1]对于SLA,错误被视为失败
2016-03-09 01:24:31250信息行动开始通信:539-用户[培训]组[-]令牌[]应用程序[示例工作流]作业[0000017-160308222246102-oozie-oozi-W]…
我已获得以下job.properties文件:
nameNode=hdfs://localhost:8020
jobTracker=localhost:8021
queueName=default
examplesRoot=joinoozie
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/training/${examplesRoot}
inputDir1=movies1
inputDir2=figures1
我的workflow.xml文件如下:
${jobTracker}
${nameNode}
mapred.mapper.new-api
真的
mapred.reducer.new-api
真的
mapred.job.queue.name
${queueName}
mapreduce.inputformat.class org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat
mapreduce.map.class org.apache.hadoop.mapreduce.lib.input.DelegatingMapper
mapreduce.input.multipleinputs.dir.formats${inputDir1};org.apache.hadoop.mapred.TextInputFormat,${inputDir2};org.apache.hadoop.mapred.TextInputFormat
mapreduce.input.multipleinputs.dir.mappers${inputDir1};JoinMapper$MovieMapper,${inputDir2};JoinMapper$FigureMapper
mapreduce.reduce.class
异径接头
mapred.output.dir
输出波形
有人能帮我解决这个问题吗?太好了。
谢谢
AndiOozie提供了一组默认属性,对应于工作流中的不同操作类型。您可以阅读更多有关位置和属性设置顺序的信息我发现一条提示“需要使用WF作业默认配置复制actionConf。”-有人知道actionConf需要存储在何处吗?如果答案有帮助,您是否可以升级投票并将其标记为答案?它可能会帮助其他遇到类似问题的人。