Hadoop Oozie和作业历史记录服务器配置问题 问题

我正在尝试在不使用CDM的情况下安装psuedo distributed。一切都通过控制台“工作”。然而，当我第二次开始使用色调时，我在尝试使用Pig时收到一个错误

色调中显示的错误为：

JA017:无法查找已启动的hadoop作业ID 与操作关联的[job_local2125047777_0001] [0000000-160112011607704-oozie-oozi-W@pig]. 这次行动失败了

我认为这是由于Oozie工作流将Pig连接到作业历史服务器的问题导致的错误通信而导致的错误

在此之前，我无法从Hue使用Hive，因为Oozie在HDFS上安装Oozie的共享库时遇到了困难。我通过在

/etc/hadoop/conf/core-site.xml

和

/etc/oozie/conf/hadoop-conf/core-site.xml

之间创建一个符号链接来解决这个问题。正如这里所建议的：

脚本信息 我为在Scientific Linux 7上安装CDH而编写的配置脚本可在以下位置获得：

具体来说，我试图从pig脚本中获得结果：

data = LOAD '/user/hue/pig/examples/data/midsummer.txt' as (text:CHARARRAY);

upper_case = FOREACH data GENERATE org.apache.pig.piggybank.evaluation.string.UPPER(text);

STORE upper_case INTO '$output' ;

尝试的解决方案 通过谷歌搜索，我发现了以下解决方案，这些解决方案一旦实施，就无法奏效

建议运行以下命令：

sudo -u hdfs hadoop fs -mkdir -p /user/history
sudo -u hdfs hadoop fs -chmod -R 1777 /user/history
sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history

重新启动资源和节点管理器、HDFS和历史服务器无效

在线程中，有另一个用户建议在

job.properties

中设置一个属性，该属性指定了

user.name=mapred

。但是，我找不到有关色调作业的job.properties的任何引用

这篇文章建议在

mapred site.xml

文件中声明历史服务器的固定路径：

<property>
  <name>mapreduce.jobhistory.done-dir</name>
  <value>/user/history/done</value>
</property>
<property>
   <name>mapreduce.jobhistory.intermediate-done-dir</name>
   <value>/user/history/done_intermediate</value>
</property>

---

您应该使用色调文件浏览器仔细检查/user/history的所有目录和子目录上的所有权限是否正确

在我的例子中，所有用户对/user/history的所有子文件夹都有权限，但HUE文件浏览器告诉我，“/user/history”目录本身具有以下权限集：

Name        User     Group     Permissions
history     mapred   hadoop    drwxrwx--- 

这导致使用不同于mapred的用户时出错。 以下命令有助于：

sudo -u hdfs hadoop fs -chmod 777 /user/history

---

嘿，你是怎么解决的？我也犯了同样的错误。请帮帮我！遵循这一点：不知道这会多久解决一次问题，但检查这一点肯定不会有什么坏处，所以请投票：）

sudo -u hdfs hadoop fs -chmod 777 /user/history