Apache spark 三角洲湖上的蜂巢台

Apache spark 三角洲湖上的蜂巢台,apache-spark,hive,delta-lake,Apache Spark,Hive,Delta Lake,我是spark&delta lake的新手。我正在delta表的顶部创建配置单元表。我有必要的jar-delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性 SET hive.input.format=io.delta.hive.HiveInputFormat; SET hive.tez.input.format=io.delta.hive.HiveInputFormat; 但在创

我是spark&delta lake的新手。我正在delta表的顶部创建配置单元表。我有必要的jar-delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
但在创建表时

创建外部表配置单元表(col1 INT,col2 STRING)
由'io.delta.hive.DeltaStorageHandler'存储
位置“/path/to/my/delta/table”

获取以下异常:

失败:执行错误,从返回代码1 org.apache.hadoop.hive.ql.exec.ddlstask。 org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J

两个表的架构都匹配。堆栈详细信息: 火花:2.4.4 蜂巢:1.2.1


非常感谢您的帮助。提前感谢。

配备delta lake的Hive仅支持spark 3.0和delta版本0.7.0

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>

三角洲
delta-core_2.12
0.7.0