Hive PySpark:java.lang.ClassCastException

Hive PySpark:java.lang.ClassCastException,hive,pyspark,hbase,Hive,Pyspark,Hbase,我有一个PySpark代码,用于开发查询并在另一个配置单元表上运行insert-into命令,该配置单元表内部映射到HBase表。 当我使用spark sql在配置单元表上运行insert into命令时,出现以下异常 java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOut

我有一个PySpark代码,用于开发查询并在另一个配置单元表上运行insert-into命令,该配置单元表内部映射到HBase表。 当我使用spark sql在配置单元表上运行insert into命令时,出现以下异常

java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat
我检查了数据类型和TBLProperty,但无法通过此异常

我使用的版本有:

PySpark -- 1.6.0
Hive -- 1.1.0-cdh5.8.2
表格属性包括:

ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties("hbase.columns.mapping"=":key,colf:a")
tblproperties("hbase.table.name"="abc",'hbase.mapred.output.outputtable' = 'abc');
我尝试删除行格式Serde,即使遇到同样的问题


我是否因为版本不匹配而出现问题??还是我做错了???

这是spark的一个bug,看看这个apache spark pull,

等待这个:找到并解决它!