Apache spark 三角洲湖上的蜂巢台
我是spark&delta lake的新手。我正在delta表的顶部创建配置单元表。我有必要的jar-delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性Apache spark 三角洲湖上的蜂巢台,apache-spark,hive,delta-lake,Apache Spark,Hive,Delta Lake,我是spark&delta lake的新手。我正在delta表的顶部创建配置单元表。我有必要的jar-delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性 SET hive.input.format=io.delta.hive.HiveInputFormat; SET hive.tez.input.format=io.delta.hive.HiveInputFormat; 但在创
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
但在创建表时
创建外部表配置单元表(col1 INT,col2 STRING)
由'io.delta.hive.DeltaStorageHandler'存储
位置“/path/to/my/delta/table”
获取以下异常:
失败:执行错误,从返回代码1
org.apache.hadoop.hive.ql.exec.ddlstask。
org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J
两个表的架构都匹配。堆栈详细信息:
火花:2.4.4
蜂巢:1.2.1
非常感谢您的帮助。提前感谢。配备delta lake的Hive仅支持spark 3.0和delta版本0.7.0
<dependency>
<groupId>io.delta</groupId>
<artifactId>delta-core_2.12</artifactId>
<version>0.7.0</version>
</dependency>
三角洲
delta-core_2.12
0.7.0