Hadoop Cloudera Manager:我应该将MapReduce作业的Java类路径放在哪里?

Hadoop Cloudera Manager:我应该将MapReduce作业的Java类路径放在哪里?,hadoop,cloudera,lzo,Hadoop,Cloudera,Lzo,我已经让Hadoop Lzo在我的本地伪集群上愉快地工作,但当我在生产中尝试相同的jar文件时,我得到: java.lang.RuntimeException: native-lzo library not available 库已验证为位于DataNodes上,因此我的问题是: 在什么屏幕/设置中指定本机lzo库的位置?对于MapReduce,您需要将条目添加到MapReduce客户端环境安全阀。通过转到配置下的查看和编辑选项卡,您可以找到MapReduce客户端安全性。然后在那里添加这些行

我已经让Hadoop Lzo在我的本地伪集群上愉快地工作,但当我在生产中尝试相同的jar文件时,我得到:

java.lang.RuntimeException: native-lzo library not available
库已验证为位于DataNodes上,因此我的问题是:


在什么屏幕/设置中指定本机lzo库的位置?

对于MapReduce,您需要将条目添加到MapReduce客户端环境安全阀。通过转到配置下的查看和编辑选项卡,您可以找到MapReduce客户端安全性。然后在那里添加这些行:

  • HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/HADOOP_LZO/lib/HADOOP/lib/*
  • JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/HADOOP/lib/native
还要将LZO编解码器添加到MapReduce服务下的io.compression.codecs属性中。要执行此操作,请转到配置下的查看和编辑选项卡下的io.compression,这些行包括:

  • com.hadoop.compression.lzo.LzoCodec
  • com.hadoop.compression.lzo.LzopCodec
进行更改后,不要忘记重新启动MR守护进程。重新启动后,重新部署您的MR客户端配置

有关如何使用LZO的详细帮助,请访问以下链接:


HTH

在TaskTracker节点中尝试
sudo-apt-get-install-lzop

仍将获得RuntimeException。我已经部署了客户端配置,重新启动了mapreduce服务。还有别的吗?