Hadoop 永久添加蜂箱罐
是否有任何方法可以永久添加配置单元jar,而不是在配置单元shell中的会话级别添加Hadoop 永久添加蜂箱罐,hadoop,hive,Hadoop,Hive,是否有任何方法可以永久添加配置单元jar,而不是在配置单元shell中的会话级别添加 任何帮助都将不胜感激。您必须将jar放入hadoop的lib文件夹中,或将所有必要的jar放入所有节点中。在hiveserver2主机中,创建一个类似/var/lib/hive的位置,并在该文件夹中添加所有必要的jar。编辑hive-site.xml并在属性hive.aux.jars.path中提及所有这些jar 例如: 添加JAR/home/amal/hive/amaludf.JAR 添加JAR/home/
任何帮助都将不胜感激。您必须将jar放入hadoop的lib文件夹中,或将所有必要的jar放入所有节点中。在hiveserver2主机中,创建一个类似/var/lib/hive的位置,并在该文件夹中添加所有必要的jar。编辑hive-site.xml并在属性hive.aux.jars.path中提及所有这些jar 例如:
添加JAR/home/amal/hive/amaludf.JAR
添加JAR/home/amal/hive/amaludf2.JAR
您可以为所有会话定义它,而不是在每个会话中使用上述命令
创建在hiveserver主机中存储这些JAR的位置
mkdir /var/lib/hive
将所有这些JAR添加到该目录
在hive-site.xml中设置属性
hive.aux.jars.path
/var/lib/hive
完成此修改后重新启动hiveserver2
您也可以指定各个JAR的路径,而不是创建目录并放置所有JAR。唯一的条件是所有这些JAR都应该存在于hiveserver主机中
mkdir /var/lib/hive
例如:
hive.aux.jars.path
file:///home/amal/hive/udf1.jar,file:///usr/lib/hive/lib/hive-hbase-handler.jar
这些可以通过两个步骤完成
您还需要重新启动hive/hadoop,以便在更改后生效。在$hive\u HOME中创建名为
auxlib
的目录,将所有JAR放在此目录中,然后重新启动hive服务器。运行ps-ef | grep-hive
这个命令来列出配置单元进程,搜索hive.aux.jars.path
,您将看到您的所有jar都将在这个hiveconf中列出。您是指自定义UDF的jar吗?查询所需的任何jar..比如csv serde jar,用于将csv文件加载到表中
<property>
<name>hive.aux.jars.path </name>
<value>file:///home/amal/hive/udf1.jar,file:///usr/lib/hive/lib/hive-hbase-handler.jar</value>
</property>