如何在Hive中包含JAR(Amazon Hadoop环境)

如何在Hive中包含JAR(Amazon Hadoop环境),hadoop,hive,amazon-emr,Hadoop,Hive,Amazon Emr,我需要在Hive中包含更新的protobuf jar(比2.5.0更新)。不管我把罐子放在哪里,它都会被推到类路径的末尾。如何确保jar位于配置单元类路径的开头?要将您自己的jar添加到配置单元类路径中,使其包含在类路径的开头,而不被某些hadoop jar重载,您需要设置以下Env变量- 导出HADOOP\u用户\u类路径\u FIRST=true 这表明HADOOP_类路径将获得比一般HADOOP JAR更高的优先级 在AmazonEMR实例中,您可以将其添加到/home/hadoop/co

我需要在Hive中包含更新的protobuf jar(比2.5.0更新)。不管我把罐子放在哪里,它都会被推到类路径的末尾。如何确保jar位于配置单元类路径的开头?

要将您自己的jar添加到配置单元类路径中,使其包含在类路径的开头,而不被某些hadoop jar重载,您需要设置以下Env变量-

导出HADOOP\u用户\u类路径\u FIRST=true

这表明HADOOP_类路径将获得比一般HADOOP JAR更高的优先级

在AmazonEMR实例中,您可以将其添加到/home/hadoop/conf/hadoop-env.sh,并修改该文件中的类路径


<>这是非常有用的,当你想重载像Hadoop一般类路径的原型BurBuff.< /P> < P>你可以考虑做的另一件事是在jar中包含原始Bufff类。您需要使用汇编插件构建jar,它将创建这些类。这是一种选择

嗨,你有没有试过用最新的protobuf jar添加jar选项?现在我明白了。在这种情况下,仅仅在配置单元中包含“addjar”是不起作用的,因为这些类将被配置单元类路径覆盖