Hadoop Cloudera Manager:我应该将MapReduce作业的Java类路径放在哪里?
我已经让Hadoop Lzo在我的本地伪集群上愉快地工作,但当我在生产中尝试相同的jar文件时,我得到:Hadoop Cloudera Manager:我应该将MapReduce作业的Java类路径放在哪里?,hadoop,cloudera,lzo,Hadoop,Cloudera,Lzo,我已经让Hadoop Lzo在我的本地伪集群上愉快地工作,但当我在生产中尝试相同的jar文件时,我得到: java.lang.RuntimeException: native-lzo library not available 库已验证为位于DataNodes上,因此我的问题是: 在什么屏幕/设置中指定本机lzo库的位置?对于MapReduce,您需要将条目添加到MapReduce客户端环境安全阀。通过转到配置下的查看和编辑选项卡,您可以找到MapReduce客户端安全性。然后在那里添加这些行
java.lang.RuntimeException: native-lzo library not available
库已验证为位于DataNodes上,因此我的问题是:
在什么屏幕/设置中指定本机lzo库的位置?对于MapReduce,您需要将条目添加到MapReduce客户端环境安全阀。通过转到配置下的查看和编辑选项卡,您可以找到MapReduce客户端安全性。然后在那里添加这些行:
- HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/HADOOP_LZO/lib/HADOOP/lib/*
- JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/HADOOP/lib/native
- com.hadoop.compression.lzo.LzoCodec
- com.hadoop.compression.lzo.LzopCodec
HTH在TaskTracker节点中尝试
sudo-apt-get-install-lzop
。仍将获得RuntimeException。我已经部署了客户端配置,重新启动了mapreduce服务。还有别的吗?