Hadoop 配置单元输出在末尾包含这两个警告。如何抑制这两个警告

Hadoop 配置单元输出在末尾包含这两个警告。如何抑制这两个警告,hadoop,hive,cloudera,udf,Hadoop,Hive,Cloudera,Udf,使用UDF的配置单元查询输出在末尾包含以下两个警告。如何抑制这两个警告。请注意,这两个警告作为输出的一部分紧跟在输出之后 WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. hadoop版本 Hadoop 2

使用UDF的配置单元查询输出在末尾包含以下两个警告。如何抑制这两个警告。请注意,这两个警告作为输出的一部分紧跟在输出之后

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.
hadoop版本

Hadoop 2.6.0-cdh5.4.0
蜂巢——版本


如果你用直线代替蜂巢,错误就会消失。这不是最好的解决方案,但我计划向CDH用户组发帖,问同样的问题,看看这是否是一个可以修复的bug。

此错误是由于添加了assembly jar,其中包含icl-over-slf4j.jar(导致stdout消息)和slf4j-log4j12.jar中的类

首先,您可以尝试以下几项:

  • 尝试移除程序集jar,以防使用

  • 请看以下链接: 这表明,只有在配置单元添加火花装配=“true”时,我们才能在加载火花装配的配置单元中触发标志

  • :
    尽管有一种解决方法可以避免任何结束时间更改,即使用shell脚本手动删除文件末尾的2行。

    已尝试将配置单元添加火花装配设置为false,但它不起作用

    最后,我在Cloudera社区发现了一个帖子问题。见:

    你可以试试下面的命令,它对我有用

    hive -S -d ns=$hiveDB -d tab=$t -d dunsCol=$c1 -d phase="$ph1" -d error=$c2 -d ts=$eColumnArray -d reporting_window=$rDate -f $dir'select_count.hsql' | grep -v "^WARN" > $gOutPut 2> /dev/null
    

    您是否收到CDH关于此警告问题的任何更新?我使用Hadoop 2.6.0-cdh5.12.2版本,但问题仍然存在。
    hive -S -d ns=$hiveDB -d tab=$t -d dunsCol=$c1 -d phase="$ph1" -d error=$c2 -d ts=$eColumnArray -d reporting_window=$rDate -f $dir'select_count.hsql' | grep -v "^WARN" > $gOutPut 2> /dev/null