Hadoop 在HDP Pig UI中运行任何Pig作业时出错。错误:";请初始化蜂巢“U HOME”;
当我尝试从Hue Pig UI启动一个Pig脚本作业时,进程启动一个作业,然后进度条在那里停留1-3分钟,最终变为全红色,唯一的输出是:“请初始化HIVE_HOME。” 我尝试运行的Pig脚本是来自 猪的脚本:Hadoop 在HDP Pig UI中运行任何Pig作业时出错。错误:";请初始化蜂巢“U HOME”;,hadoop,hive,apache-pig,hue,hcatalog,Hadoop,Hive,Apache Pig,Hue,Hcatalog,当我尝试从Hue Pig UI启动一个Pig脚本作业时,进程启动一个作业,然后进度条在那里停留1-3分钟,最终变为全红色,唯一的输出是:“请初始化HIVE_HOME。” 我尝试运行的Pig脚本是来自 猪的脚本: A=使用PigStorage(“:”)加载“passwd” B=每个A生成\$0作为id;将B存储到“/tmp/id.out”中 我正试图在Hortonworks数据平台版本的Hue(v2.3)中获得Pig脚本UI,根据它们的工作情况。我正在手动执行此操作,使用yum安装所需的软件包并手
A=使用PigStorage(“:”)加载“passwd”
B=每个A生成\$0作为id;将B存储到“/tmp/id.out”中 我正试图在Hortonworks数据平台版本的Hue(v2.3)中获得Pig脚本UI,根据它们的工作情况。我正在手动执行此操作,使用yum安装所需的软件包并手动设置配置。我正在使用CentOS 6.4在Amazon AWS机器上工作。我跟在后面 起初我认为我需要Oozie启动并运行,以便从Hue执行一个Pig作业,但在跟踪Hue日志时,我发现它在执行Pig脚本时启动了WebHCat,因此,我通过转到http://$WebHCat.server.full.hostname:50111/templeton/v1/status并验证是否收到了无错误的响应来安装并验证WebHCat是否正常工作。因此,我完全相信WebHCat工作正常。我还必须注意,由于core-site.xml中的配置允许Hue用户在运行作业时冒充hdfs用户,因此Hue用户正在运行WebHCat服务器,这是我在尝试运行Hue UI中的Pig脚本时遇到的一个错误 到目前为止,我已经追踪到了实际清管器中的一个代码块的错误。所讨论的代码块是:
# CLASSPATH initially contains $PIG_CONF_DIR
CLASSPATH="${PIG_CONF_DIR}"
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar
if [ "$includeHCatalog" == "true" ]; then
# need to provide the hcatalog jar file path as well as
# the location of the hive jars on which hcatalog depends
hiveMetaStoreJar=hive-metastore-*.jar
thriftJar=libthrift-*.jar
hiveExecJar=hive-exec-*.jar
fbJar=libfb303-*.jar
jdoECJar=jdo*-api-*.jar
slfJar=slf4j-api-*.jar
hbaseHiveJar=hive-hbase-handler-*.jar
if [ "$HIVE_HOME" == "" ]; then
if [ -d "/usr/lib/hive" ]; then
HIVE_HOME=/usr/lib/hive
else
echo "Please initialize HIVE_HOME"
exit -1
fi
fi
这个代码块导致了这个问题,这一事实非常令人困惑,我自己也无法追踪这个错误
我知道如果有其他条款:
如果[-d”/usr/lib/hive“];然后
HIVE_HOME=/usr/lib/HIVE
其他的
echo“请初始化配置单元\u主页”
出口-1
fi
是错误产生的原因,但我不明白为什么它不承认安装了配置单元的lib目录确实存在
这就是我被困的地方。我知道“/usr/lib/hive”存在,因为我已经验证了Hue、WebHCat和Pig运行的机器上存在这个目录。我不知道如何调试这里出了什么问题。我考虑过手动设置HIVE_HOME,但这可能是没有意义的,因为Pig没有意识到该目录存在于文件系统中,因此如果它稍后试图访问代码中的路径,就会出错
在这一点上,我可能遗漏了一些明显的东西,但我非常感谢能得到的任何帮助。我遇到了同样的问题,但错误消息略有不同。我就是这样修好的 在/etc/passwd中应该已经有一个“色调”用户。此用户的主目录应为“/usr/lib/hue”。这是Hue在安装期间分配的默认主目录
sudo chown hue:hadoop /home/hue
就这样。现在应该没事了。我解决了一个类似的问题,在HUE的Pig页面的“Pig脚本”文本区域下,从de arguments列表中删除“-useHCatlog”参数。谢谢您回答我的问题。在这一点上,我已经完全离开了这个问题,因为我已经完成了我与安巴里的工作,并没有遇到问题。我对这个答案投了赞成票,但我不确定我是否应该接受这个解决方案,因为我现在不能亲自尝试。
sudo chown hue:hadoop /home/hue
hue:x:1013:492:Hue:/home/hue:/bin/bash