Hive 将jsonserde.jar永久添加到EMR配置单元

Hive 将jsonserde.jar永久添加到EMR配置单元,hive,emr,Hive,Emr,我们知道 add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar; 仅在本届会议期间有效 有没有一种方法可以将jar永久地、全局地添加到配置单元中,从而使jar在集群的生命周期中可用 更新: 我找到了一种方法:使用aws cli下载jar,aws s3 cp s3://elasticmapreduce/samples/hive ads/libs/jsonserde.jar.,然后将jar复制到EMR集群所有节点的/us

我们知道

add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar;
仅在本届会议期间有效

有没有一种方法可以将jar永久地、全局地添加到配置单元中,从而使jar在集群的生命周期中可用

更新: 我找到了一种方法:使用aws cli下载jar,
aws s3 cp s3://elasticmapreduce/samples/hive ads/libs/jsonserde.jar.
,然后将jar复制到EMR集群所有节点的
/usr/lib/hive/lib


有更好的方法吗?

在.hiverc文件中插入ADD JAR命令并启动配置单元

 add jar yourjarName.jar
  • 什么是.hiverc文件?
  • 它是在启动配置单元外壳时执行的文件,使其成为在启动配置单元外壳时添加任何想要设置的配置单元配置/自定义的理想位置。这可以是:

    • 将列标题设置为在查询结果中可见
    • 使当前数据库名称成为配置单元提示的一部分
    • 添加任何jar或文件
    • 注册自定义项
    2.hiverc文件位置

    • 该文件从配置单元conf目录加载
    • 我有CDH4.2发行版,位置为: /etc/hive/conf.cloudera.hive1
    • 如果文件不存在,您可以创建它。这是必须的 部署到可能启动配置单元外壳的每个节点

    ref-

    但有时我不使用Hive外壳,而是使用色调。hiverc不会执行。我也对色调的解决方案感兴趣