Apache spark 修复在Spark SQL中引发解析异常的良好配置单元SQL查询
在配置单元中执行以下查询可以正常工作:Apache spark 修复在Spark SQL中引发解析异常的良好配置单元SQL查询,apache-spark,parsing,hive,hiveql,Apache Spark,Parsing,Hive,Hiveql,在配置单元中执行以下查询可以正常工作: ALTER TABLE schema.the_table DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22') ALTER TABLE schema 如果存在分区,则删除(PARTITION_DATE由于已知错误,从spark 3.0版开始,无法使用spark.sql删除蜂巢分区,目前正在3.1.0版中对其进行修复。请检查JIRA。这是spark中的已知错误,目前正在3.1.0版中对其进行修
ALTER TABLE schema.the_table
DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22')
ALTER TABLE schema
如果存在分区,则删除(PARTITION_DATE由于已知错误,从spark 3.0版开始,无法使用spark.sql删除蜂巢分区,目前正在3.1.0版中对其进行修复。请检查JIRA。这是spark中的已知错误,目前正在3.1.0版中对其进行修复。请检查JIRA@ShreyJakhmola,并将注释写为回答
val spark = SparkSession.builder.enableHiveSupport.getOrCreate
spark.sql("""
ALTER TABLE schema.the_table
DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22')
""")