无法通过jdbc驱动程序从配置单元UDF内部执行SQL
这是我的第一篇帖子！我一直在寻找解决这个问题的方法，但几个星期都没有结果（断断续续） 我有一个java配置单元UDF，我想在其中对配置单元表运行SQL，以映射内存中的数据，供以后使用。我有正确的连接信息，但它找不到HiveDriver。我已经尝试在配置单元中添加配置单元jdbc驱动程序jar，并将其导出到可运行的jar中 下面是错误，后面是相关代码无法通过jdbc驱动程序从配置单元UDF内部执行SQL,jdbc,hive,udf,Jdbc,Hive,Udf,这是我的第一篇帖子！我一直在寻找解决这个问题的方法，但几个星期都没有结果（断断续续） 我有一个java配置单元UDF，我想在其中对配置单元表运行SQL，以映射内存中的数据，供以后使用。我有正确的连接信息，但它找不到HiveDriver。我已经尝试在配置单元中添加配置单元jdbc驱动程序jar，并将其导出到可运行的jar中 下面是错误，后面是相关代码 hive> add jar /tmp/xhUDFs.jar; Added [/tmp/xhUDFs.jar] to class path Ad
hive> add jar /tmp/xhUDFs.jar;
Added [/tmp/xhUDFs.jar] to class path
Added resources: [/tmp/xhUDFs.jar]
hive> CREATE TEMPORARY FUNCTION getRefdata as 'xhUDFs.GetRefdata';
OK
Time taken: 0.042 seconds
hive> select '06001',getRefdata('CBSAname','06001');
try {
Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
Connection wConn = DriverManager.getConnection("jdbc:hive2://172.20.2.40:10000/refdata", "", "");
Statement sql = wConn.createStatement();
ResultSet wResult = sql.executeQuery("select distinct zipcode5,cbsa_name,msa_name,pmsa_name,region,csaname,cbsa_div_name from refdata.zip_code_business_all_16_1_2016_orc where primaryrecord='P'");
while (wResult.next()){
censusMap.put(wResult.getString("zipcode5"), wResult.getString("cbsa_name"));
}
} catch (SQLException | ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
出于好奇，您是否尝试添加jar/where/my/distro/is/hive/hive-jdbc-xxxxxx-standalone.jar？而且，看起来您只是希望Java HashMap在UDF中执行查找，而不是运行配置单元映射联接。好吧，看到人们重新发明轮子总是很有趣的，尤其是当他们失败的时候。但为什么是JDBC？存储在HDFS上的好的旧CSV文件将更容易从Java代码中读取。你可以跑呀