Java 如何将hbase与Spark连接
我想从hbase加载数据,然后使用Spark继续! 我在谷歌云上使用Spark 2.0.2和hbase 1.2.5 在互联网上,我发现了一些使用JavaHBaseContext的示例,但我不知道在哪里可以找到这个类,因为我没有任何名为hbase spark的jar文件hbase 我也发现了这段代码,它使用HBaseConfiguration和ConnectionFactory与hbase数据库建立连接:Java 如何将hbase与Spark连接,java,apache-spark,hbase,Java,Apache Spark,Hbase,我想从hbase加载数据,然后使用Spark继续! 我在谷歌云上使用Spark 2.0.2和hbase 1.2.5 在互联网上,我发现了一些使用JavaHBaseContext的示例,但我不知道在哪里可以找到这个类,因为我没有任何名为hbase spark的jar文件hbase 我也发现了这段代码,它使用HBaseConfiguration和ConnectionFactory与hbase数据库建立连接: Configuration conf = HBaseConfiguration.cr
Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("/etc/hbase/conf/core-site.xml"));
conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
conf.set(TableInputFormat.INPUT_TABLE, tableName);
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
Table tab = connection.getTable(TableName.valueOf(tableName));
byte [] row = Bytes.toBytes("TestSpark");
byte [] family1 = Bytes.toBytes("MetaData");
byte [] height = Bytes.toBytes("height");
byte [] width = Bytes.toBytes("width");
Put put = new Put(row);
put.addColumn(family1, height, Bytes.toBytes("256"));
put.addColumn(family1, width, Bytes.toBytes("384"));
tab.put(put);
但是我得到了一个关于Connection=ConnectionFactory.createConnection(conf)的错误代码>即:
错误:未报告的异常IOException;必须被抓住或宣布
被抛弃
Connection=ConnectionFactory.createConnection(conf)
你们能告诉我如何使用Spark从hbase加载数据吗
PS:I program Java您提到的错误与以下事实有关:Connection-Connection=ConnectionFactory.createConnection(conf)代码>可能出现错误。正如信息中所说,您必须使用try..catch:
try {
Connection connection = ConnectionFactory.createConnection(conf);
}
catch (Exception e) //Replace Exception with the exception thown by ConnectionFactory
{
... Do something.
}
hbase spark.jar
是spark的(新兴)标准hbase插件,由Cloudera提供,(a)在CDH发行版中可用,(b)作为使用hbase 1.x的其他发行版的附加jar,或(c)在hbase 2.x中本机可用——请参阅HortonWorks推广的Thre的shc
,作为spark软件包和