Apache spark 火花流:使用hbaseMapPartitions时,HBase连接关闭
在我的Spark流媒体应用程序中,我使用HBaseContext将一些值放入HBase,每个处理的消息都有一个put操作 如果我使用hbaseForeachPartitions,一切都正常Apache spark 火花流:使用hbaseMapPartitions时,HBase连接关闭,apache-spark,streaming,hbase,Apache Spark,Streaming,Hbase,在我的Spark流媒体应用程序中,我使用HBaseContext将一些值放入HBase,每个处理的消息都有一个put操作 如果我使用hbaseForeachPartitions,一切都正常 dStream .hbaseForeachPartition( hbaseContext, (iterator, connection) => { val table = connection.getTable("namespace:table") // p
dStream
.hbaseForeachPartition(
hbaseContext,
(iterator, connection) => {
val table = connection.getTable("namespace:table")
// putHBase is external function in the same Scala object
val results = iterator.flatMap(packet => putHBaseAndOther(packet))
table.close()
results
}
)
使用hbaseMapPartitions时,与HBase的连接将关闭
dStream
.hbaseMapPartition(
hbaseContext,
(iterator, connection) => {
val table = connection.getTable("namespace:table")
// putHBase is external function in the same Scala object
val results = iterator.flatMap(packet => putHBaseAndOther(packet))
table.close()
results
}
)
有人能解释为什么吗