Apache spark pyspark.sql.DataFrameWriter.saveAsTable()的格式

Apache spark pyspark.sql.DataFrameWriter.saveAsTable()的格式,apache-spark,pyspark,pyspark-sql,Apache Spark,Pyspark,Pyspark Sql,有人知道我在哪里可以找到pyspark.sql.DataFrameWriter中的saveAsTable()函数的可用格式列表吗?它只是说“用于保存的格式。” 我看到的每个例子都使用“拼花地板”,但我找不到其他提到的东西。具体地说,我想用Pypark节省一些钱 谢谢大家! 据我所知,每种格式的源代码支持的开箱即用命令有: 拼花地板 JSON 兽人 JDBC 正文 csv source(仅获取源 保存内容的格式) 因此,saveAsTable()不支持现成的Feather。根据您的设置,您可以

有人知道我在哪里可以找到
pyspark.sql.DataFrameWriter
中的
saveAsTable()
函数的可用格式列表吗?它只是说“用于保存的格式。”

我看到的每个例子都使用“拼花地板”,但我找不到其他提到的东西。具体地说,我想用Pypark节省一些钱


谢谢大家!

据我所知,每种格式的源代码支持的开箱即用命令有:

  • 拼花地板
  • JSON
  • 兽人
  • JDBC
  • 正文
  • csv
  • source(仅获取源 保存内容的格式)
因此,saveAsTable()不支持现成的Feather。根据您的设置,您可以尝试直接保存到HDFS,如:

(摘自feather集成测试:)

希望这是有帮助的,让我知道,如果有什么是错误的或不清楚的

import feather
path= "my_data.feather" #this would then be your full hdfs URI
feather.write_dataframe(df, path)