Apache spark spark2.1.0将数据插入配置单元错误
spark版本:2.1.0 我想将DataSeting插入到具有“dt”分区字段的配置单元中,但失败 使用“insertInto()”时,错误为:“spark2.0 insertInto()不能与partitionBy()一起使用” 使用“saveAsTale()”时,错误是:“尚不支持在配置单元服务器表中保存数据Apache spark spark2.1.0将数据插入配置单元错误,apache-spark,spark-dataframe,Apache Spark,Spark Dataframe,spark版本:2.1.0 我想将DataSeting插入到具有“dt”分区字段的配置单元中,但失败 使用“insertInto()”时,错误为:“spark2.0 insertInto()不能与partitionBy()一起使用” 使用“saveAsTale()”时,错误是:“尚不支持在配置单元服务器表中保存数据adad\u行业用户配置文件\u incr”。请使用insertInto()API作为替代方法。” 核心代码如下: rowRDD.foreachRDD(新的VoidFunction()
ad
ad\u行业用户配置文件\u incr
”。请使用insertInto()API作为替代方法。”
核心代码如下:
rowRDD.foreachRDD(新的VoidFunction(){
@凌驾
公共void调用(JavaRDD rowJavaRDD)引发异常{
Dataset profileDataFrame=hc.createDataFrame(rowJavaRDD,schema).coalesce(1);
profileDataFrame.write().partitionBy(“dt”).mode(SaveMode.Append).insertInto(tableName);
//profileDataFrame.write().partitionBy(“dt”).mode(SaveMode.Append).saveAsTable(tableName);
}
});
请帮助我~使用profileDataFrame.write().mode(SaveMode.Append).insertInto(tableName) 不带分割人(“dt”)