Apache spark 将带有标题的空RDD写入输出文件Spark
我有一个条件,我需要生成只有标题的输出文件。我使用了以下依赖项Apache spark 将带有标题的空RDD写入输出文件Spark,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一个条件,我需要生成只有标题的输出文件。我使用了以下依赖项 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.0</version> </dependency> <dependency> <g
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>1.6.0</version>
</dependency>
更新
我也使用了下面的代码
tpDf.coalesce(1).write().format("com.databricks.spark.csv").option("header","true").save(FileName);
没有输出零件文件
有人知道我如何实现这一点吗?在回答问题之前,我应该提到,您必须避免使用
RDD
(遗留API),而应该使用数据集/数据帧(结构化API)。有关三种api之间的差异以及结构化api为何比RDD api好得多的更多信息,请参考
现在回答你的问题:
我来自scala,但我相信在java和python中有一种非常类似的方法,因为您使用的是结构化API:
tpDF.write.option("header", true).save("test")
希望这对你有帮助。向sc.makeRDD(tpDf.columns)致以最诚挚的问候。saveAsTextFile(..)
tpDf.coalesce(1).write().format("com.databricks.spark.csv").option("header","true").save(FileName);
tpDF.write.option("header", true).save("test")