Apache spark pyspark.sql.DataFrameWriter.saveAsTable()的格式
有人知道我在哪里可以找到Apache spark pyspark.sql.DataFrameWriter.saveAsTable()的格式,apache-spark,pyspark,pyspark-sql,Apache Spark,Pyspark,Pyspark Sql,有人知道我在哪里可以找到pyspark.sql.DataFrameWriter中的saveAsTable()函数的可用格式列表吗?它只是说“用于保存的格式。” 我看到的每个例子都使用“拼花地板”,但我找不到其他提到的东西。具体地说,我想用Pypark节省一些钱 谢谢大家! 据我所知,每种格式的源代码支持的开箱即用命令有: 拼花地板 JSON 兽人 JDBC 正文 csv source(仅获取源 保存内容的格式) 因此,saveAsTable()不支持现成的Feather。根据您的设置,您可以
pyspark.sql.DataFrameWriter
中的saveAsTable()
函数的可用格式列表吗?它只是说“用于保存的格式。”
我看到的每个例子都使用“拼花地板”,但我找不到其他提到的东西。具体地说,我想用Pypark节省一些钱
谢谢大家! 据我所知,每种格式的源代码支持的开箱即用命令有:
- 拼花地板
- JSON
- 兽人
- JDBC
- 正文
- csv
- source(仅获取源 保存内容的格式)
import feather
path= "my_data.feather" #this would then be your full hdfs URI
feather.write_dataframe(df, path)