Scala sparksql:如何根据字段名将hdfs文件保存到不同的文件夹
使用Scala sparksql:如何根据字段名将hdfs文件保存到不同的文件夹,scala,apache-spark,apache-spark-sql,Scala,Apache Spark,Apache Spark Sql,使用sparksql时,我希望根据字段的名称将文件保存到不同的文件夹中,因为枚举的字段超过了200个。我怎样才能优雅地保存它?目前,我使用它的方式效率很低。 如图所示。 从MySRCTable创建表mytrgtable分区依据(前缀)作为select*,为什么不使用ssb.sql(“sql查询”)。write.partitionBy(“前缀”).csv(“输出路径”)非常感谢您的回复。我可以用上面提到的方法做。非常感谢。
sparksql
时,我希望根据字段的名称将文件保存到不同的文件夹中,因为枚举的字段超过了200个。我怎样才能优雅地保存它?目前,我使用它的方式效率很低。
如图所示。
从MySRCTable创建表mytrgtable分区依据(前缀)作为select*,为什么不使用ssb.sql(“sql查询”)。write.partitionBy(“前缀”).csv(“输出路径”)
非常感谢您的回复。我可以用上面提到的方法做。非常感谢。