Hadoop 永久添加蜂箱罐

Hadoop 永久添加蜂箱罐,hadoop,hive,Hadoop,Hive,是否有任何方法可以永久添加配置单元jar,而不是在配置单元shell中的会话级别添加 任何帮助都将不胜感激。您必须将jar放入hadoop的lib文件夹中,或将所有必要的jar放入所有节点中。在hiveserver2主机中,创建一个类似/var/lib/hive的位置,并在该文件夹中添加所有必要的jar。编辑hive-site.xml并在属性hive.aux.jars.path中提及所有这些jar 例如: 添加JAR/home/amal/hive/amaludf.JAR 添加JAR/home/

是否有任何方法可以永久添加配置单元jar,而不是在配置单元shell中的会话级别添加


任何帮助都将不胜感激。

您必须将jar放入hadoop的lib文件夹中,或将所有必要的jar放入所有节点中。

在hiveserver2主机中,创建一个类似/var/lib/hive的位置,并在该文件夹中添加所有必要的jar。编辑hive-site.xml并在属性hive.aux.jars.path中提及所有这些jar

例如:

添加JAR/home/amal/hive/amaludf.JAR
添加JAR/home/amal/hive/amaludf2.JAR

您可以为所有会话定义它,而不是在每个会话中使用上述命令

创建在hiveserver主机中存储这些JAR的位置

mkdir /var/lib/hive
将所有这些JAR添加到该目录

在hive-site.xml中设置属性


hive.aux.jars.path
/var/lib/hive
完成此修改后重新启动hiveserver2

您也可以指定各个JAR的路径,而不是创建目录并放置所有JAR。唯一的条件是所有这些JAR都应该存在于hiveserver主机中

mkdir /var/lib/hive
例如:


hive.aux.jars.path
file:///home/amal/hive/udf1.jar,file:///usr/lib/hive/lib/hive-hbase-handler.jar

这些可以通过两个步骤完成

  • 配置单元客户端应可在所有节点中使用
  • 配置单元活动位置应在hadoop-env.sh类路径中定义,并且应在整个hadoop Clueter中更新相同的文件
  • {hadoop-env.sh应使用配置单元的类路径和用户定义的自定义JAR的其他位置以及在整个集群中可用的公共位置进行更新}


    您还需要重新启动hive/hadoop,以便在更改后生效。

    在$hive\u HOME中创建名为
    auxlib
    的目录,将所有JAR放在此目录中,然后重新启动hive服务器。运行
    ps-ef | grep-hive
    这个命令来列出配置单元进程,搜索
    hive.aux.jars.path
    ,您将看到您的所有jar都将在这个hiveconf中列出。

    您是指自定义UDF的jar吗?查询所需的任何jar..比如csv serde jar,用于将csv文件加载到表中
    <property>
      <name>hive.aux.jars.path </name>
      <value>file:///home/amal/hive/udf1.jar,file:///usr/lib/hive/lib/hive-hbase-handler.jar</value>
    </property>