Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 修复在Spark SQL中引发解析异常的良好配置单元SQL查询_Apache Spark_Parsing_Hive_Hiveql - Fatal编程技术网

Apache spark 修复在Spark SQL中引发解析异常的良好配置单元SQL查询

Apache spark 修复在Spark SQL中引发解析异常的良好配置单元SQL查询,apache-spark,parsing,hive,hiveql,Apache Spark,Parsing,Hive,Hiveql,在配置单元中执行以下查询可以正常工作: ALTER TABLE schema.the_table DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22') ALTER TABLE schema 如果存在分区,则删除(PARTITION_DATE由于已知错误,从spark 3.0版开始,无法使用spark.sql删除蜂巢分区,目前正在3.1.0版中对其进行修复。请检查JIRA。这是spark中的已知错误,目前正在3.1.0版中对其进行修

在配置单元中执行以下查询可以正常工作:

ALTER TABLE schema.the_table 
DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22')
ALTER TABLE schema

如果存在分区,则删除(PARTITION_DATE由于已知错误,从spark 3.0版开始,无法使用spark.sql删除蜂巢分区,目前正在3.1.0版中对其进行修复。请检查JIRA。

这是spark中的已知错误,目前正在3.1.0版中对其进行修复。请检查JIRA@ShreyJakhmola,并将注释写为回答
val spark = SparkSession.builder.enableHiveSupport.getOrCreate
spark.sql("""
ALTER TABLE schema.the_table 
DROP IF EXISTS PARTITION (PARTITION_DATE<'2020-03-22')
""")