从配置单元读取数据的mapreduce程序

从配置单元读取数据的mapreduce程序,mapreduce,hive,Mapreduce,Hive,我是hadoop mapreduce和hive的新手。 我想使用Mapreduce程序(java)从Hive读取数据,并确定平均值。 我不知道如何在mapreduce中实现。请帮我做一下示例程序。 我正在使用IBMBigInsights64位开发hadoop框架 我无法参考下面的链接。找不到获取页面错误。 在此处输入代码您不简单使用hql和 select avg(my_col) from my_table? 如果您真的需要在Java中实现,那么您可以使用HiveClient并通过HiveJDB

我是hadoop mapreduce和hive的新手。 我想使用Mapreduce程序(java)从Hive读取数据,并确定平均值。 我不知道如何在mapreduce中实现。请帮我做一下示例程序。 我正在使用IBMBigInsights64位开发hadoop框架

我无法参考下面的链接。找不到获取页面错误。

在此处输入代码
您不简单使用hql和

select avg(my_col) from my_table?
如果您真的需要在Java中实现,那么您可以使用HiveClient并通过HiveJDBCAPI进行访问

下面是一个示例代码片段(从HiveClient文档中详细阐述):

欲了解更多信息:

注意:您不需要将此代码放入map/reduce配置单元,它负责创建map/reduce程序(以及并行化的相关好处)

    Connection con = null;
    Statement stmt = null;
    Resulset rs = null;
    try {
    con = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", "");
    stmt = con.createStatement();
    rs  = stmt.executeQuery("select avg(my_col) as my_avg from my_table");
    Double avg = rs.getDouble("my_avg");
    // do something with it..
   } finally {
       // close rs, stmt, conn in reverse order
   }