Shell Oozie作业仍处于运行状态

Shell Oozie作业仍处于运行状态,shell,hadoop,hive,sqoop,oozie,Shell,Hadoop,Hive,Sqoop,Oozie,我正在尝试在HDP集群上运行简单的oozie作业。执行oozie后,作业仍处于运行状态 这是我的Workflow.xml <workflow-app name="sqoop-to-hive" xmlns="uri:oozie:workflow:0.4"> <start to="sqoop2hive"/> <action name="sqoop2hive"> <sqoop xmlns="uri:oozie:sqoop-action:

我正在尝试在HDP集群上运行简单的oozie作业。执行oozie后,作业仍处于运行状态

这是我的Workflow.xml

<workflow-app name="sqoop-to-hive" xmlns="uri:oozie:workflow:0.4">
  <start to="sqoop2hive"/>
     <action name="sqoop2hive">
     <sqoop xmlns="uri:oozie:sqoop-action:0.2">
      <job-tracker>${jobTracker}</job-tracker>
      <name-node>${nameNode}</name-node>
      <command>sqoop import --connect jdbc:mysql://localhost:3306/test --table testing --split-by err_dt --hive-import --hive-table testing  -m 1</command>
      <file>hive-site.xml</file>
        <archive>mysql-connector-java.jar</archive>
      </sqoop>
<ok to="end"/>
<error to="kill"/>
</action>
<kill name="kill">
<message>Action failed</message>
</kill>
<end name="end"/>
</workflow-app>
作业属性

nameNode=hdfs://masternode:8020
jobTracker=masternode:8021
oozie.wf.application.path=oozie-sqoop
queueName=default
oozie.use.system.libpath=true
oozie.libpath= /user/oozie/share/lib

我不确定这里出了什么问题。请让我知道我应该如何继续?请检查您的hadoop 2.0及以上版本

jobTracker=masternode:8021(remove)

jobTracker=masternode:8032
8032是ResourceManager的默认端口。jobTracker可以根据使用的Hadoop版本引用jobTracker或ResourceManager


并将所有hadoop设置复制到oozie/conf/hadoop-conf/文件夹中。像core-site.xml、hadoop-policy.xml、hdfs-site.xml、warn-site.xml。

我在hortonworks沙箱中遇到了类似的问题 在改变了这个之后,它对我起了作用

名称节点=hdfs://sandbox.hortonworks.com:8020

jobTracker=sandbox.hortonworks.com:8050
尝试给出fQDN

我认为您不需要将sqoop放入sqoop导入中--连接jdbc:mysql://localhost:3306/test --表测试——按err_dt分割——配置单元导入——配置单元表测试——m1,它应该没有来自importHi的sqoop,我尝试从命令中删除sqoop word,但仍然面临相同的问题。请在job.properties--oozie.wf.application.path=oozie sqoop isHi KS Nidhin中提供此路径中提到的工作流位置的完整hdfs url,我提供了oozie sqoop的完整路径,但作业仍然没有进展。我面临的问题与此相同。嗨,谢谢yanyu。我更正了jobtracker端口,因为我正在Thread上运行它,但仍然面临相同的问题…oozie/conf/hadoop conf/folder中是否有所有hadoop xml?像core-site.xml、hadoop-policy.xml、hdfs-site.xml、warn-site.xml.hi Yanyu一样,最初我忘记将所有hadoop配置文件放在oozie/conf/hadoop conf文件夹中,在意识到我将上述所有文件复制到hadoop conf dir中后,我又遇到了同样的问题……我在互联网上搜索发现,这可能是因为地图槽不可用,因为我的map reduce作业没有启动。如果缺少更多这样的配置,请告诉我……提前谢谢。你能看到你的配置吗运行作业后映射减少作业?如果创建了新的map reduce作业,则可以检查运行此作业的计算机中的日志,标准输出文件将包含一些有意义的信息。uri看起来像hadoop/hadoop-2.5.0/logs/userlogs/application_1426743803195_10077/container_1426743803195_10077_01_000002/看起来没有启动map reduce。我刚检查了资源管理器UI,但在那里找不到任何工作。我相信在开始一项工作之前,它在某个地方失败了。
jobTracker=masternode:8021(remove)

jobTracker=masternode:8032