Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala sparksql:如何根据字段名将hdfs文件保存到不同的文件夹_Scala_Apache Spark_Apache Spark Sql - Fatal编程技术网

Scala sparksql:如何根据字段名将hdfs文件保存到不同的文件夹

Scala sparksql:如何根据字段名将hdfs文件保存到不同的文件夹,scala,apache-spark,apache-spark-sql,Scala,Apache Spark,Apache Spark Sql,使用sparksql时,我希望根据字段的名称将文件保存到不同的文件夹中,因为枚举的字段超过了200个。我怎样才能优雅地保存它?目前,我使用它的方式效率很低。 如图所示。 从MySRCTable创建表mytrgtable分区依据(前缀)作为select*,为什么不使用ssb.sql(“sql查询”)。write.partitionBy(“前缀”).csv(“输出路径”)非常感谢您的回复。我可以用上面提到的方法做。非常感谢。

使用
sparksql
时,我希望根据字段的名称将文件保存到不同的文件夹中,因为枚举的字段超过了
200个。我怎样才能优雅地保存它?目前,我使用它的方式效率很低。
如图所示。

从MySRCTable创建表mytrgtable分区依据(前缀)作为select*,为什么不使用
ssb.sql(“sql查询”)。write.partitionBy(“前缀”).csv(“输出路径”)
非常感谢您的回复。我可以用上面提到的方法做。非常感谢。