Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/365.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何将hbase与Spark连接_Java_Apache Spark_Hbase - Fatal编程技术网

Java 如何将hbase与Spark连接

Java 如何将hbase与Spark连接,java,apache-spark,hbase,Java,Apache Spark,Hbase,我想从hbase加载数据,然后使用Spark继续! 我在谷歌云上使用Spark 2.0.2和hbase 1.2.5 在互联网上,我发现了一些使用JavaHBaseContext的示例,但我不知道在哪里可以找到这个类,因为我没有任何名为hbase spark的jar文件hbase 我也发现了这段代码,它使用HBaseConfiguration和ConnectionFactory与hbase数据库建立连接: Configuration conf = HBaseConfiguration.cr

我想从hbase加载数据,然后使用Spark继续! 我在谷歌云上使用Spark 2.0.2和hbase 1.2.5

在互联网上,我发现了一些使用JavaHBaseContext的示例,但我不知道在哪里可以找到这个类,因为我没有任何名为hbase spark的jar文件hbase

我也发现了这段代码,它使用HBaseConfiguration和ConnectionFactory与hbase数据库建立连接:

    Configuration conf = HBaseConfiguration.create();
    conf.addResource(new Path("/etc/hbase/conf/core-site.xml"));
    conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
    conf.set(TableInputFormat.INPUT_TABLE, tableName);

    Connection connection = ConnectionFactory.createConnection(conf);

    Admin admin = connection.getAdmin(); 
    Table tab = connection.getTable(TableName.valueOf(tableName));
    byte [] row = Bytes.toBytes("TestSpark");
    byte [] family1 = Bytes.toBytes("MetaData");
    byte [] height = Bytes.toBytes("height");
    byte [] width = Bytes.toBytes("width");

    Put put = new Put(row);
    put.addColumn(family1, height, Bytes.toBytes("256"));
    put.addColumn(family1, width, Bytes.toBytes("384"));

    tab.put(put);
但是我得到了一个关于
Connection=ConnectionFactory.createConnection(conf)的错误即:

错误:未报告的异常IOException;必须被抓住或宣布 被抛弃 Connection=ConnectionFactory.createConnection(conf)

你们能告诉我如何使用Spark从hbase加载数据吗


PS:I program Java

您提到的错误与以下事实有关:
Connection-Connection=ConnectionFactory.createConnection(conf)可能出现错误。正如信息中所说,您必须使用try..catch:

try {    
    Connection connection = ConnectionFactory.createConnection(conf);
}
catch (Exception e) //Replace Exception with the exception thown by ConnectionFactory 
{
... Do something.
}

hbase spark.jar
是spark的(新兴)标准hbase插件,由Cloudera提供,(a)在CDH发行版中可用,(b)作为使用hbase 1.x的其他发行版的附加jar,或(c)在hbase 2.x中本机可用——请参阅HortonWorks推广的Thre的
shc
,作为spark软件包和