Apache spark spark overwrite是否可以正确使用路径选项？_Apache Spark_Pyspark_Aws Glue

Apache spark spark overwrite是否可以正确使用路径选项？

apache-spark pyspark

Apache spark spark overwrite是否可以正确使用路径选项？,apache-spark,pyspark,aws-glue,Apache Spark,Pyspark,Aws Glue,我注意到，当包含path选项时，AWS glue不会覆盖表中的分区。它会创建一个新分区，如1、2、3等。当我删除此选项时，它将覆盖分区，并且只有一个分区，如5。你知道这是对的还是我做错了什么 df = spark.createDataFrame( [ (1, "foo","5"), (2, "bar","5"), ], ["id", "label", &qu

我注意到，当包含path选项时，AWS glue不会覆盖表中的分区。它会创建一个新分区，如1、2、3等。当我删除此选项时，它将覆盖分区，并且只有一个分区，如5。你知道这是对的还是我做错了什么

df = spark.createDataFrame(
[
    (1, "foo","5"),  
    (2, "bar","5"),
],
["id", "label", "p"]

)

 df.write.format("parquet").mode("overwrite").option("compression","snappy").partitionBy("p").saveAsTable('test')


 df.write.format("parquet").mode("overwrite").option("compression","snappy").option("path",S3_location).partitionBy("p").saveAsTabl('test')