Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 将带有标题的空RDD写入输出文件Spark_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark 将带有标题的空RDD写入输出文件Spark

Apache spark 将带有标题的空RDD写入输出文件Spark,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一个条件,我需要生成只有标题的输出文件。我使用了以下依赖项 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.0</version> </dependency> <dependency> <g

我有一个条件,我需要生成只有标题的输出文件。我使用了以下依赖项

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.6.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.10</artifactId>
    <version>1.6.0</version>
</dependency>
更新

我也使用了下面的代码

tpDf.coalesce(1).write().format("com.databricks.spark.csv").option("header","true").save(FileName);
没有输出零件文件


有人知道我如何实现这一点吗?

在回答问题之前,我应该提到,您必须避免使用
RDD
(遗留API),而应该使用
数据集/数据帧(结构化API)。有关三种api之间的差异以及结构化api为何比RDD api好得多的更多信息,请参考

现在回答你的问题:

我来自scala,但我相信在java和python中有一种非常类似的方法,因为您使用的是结构化API:

tpDF.write.option("header", true).save("test") 
希望这对你有帮助。向sc.makeRDD(tpDf.columns)致以最诚挚的问候。saveAsTextFile(..)
tpDf.coalesce(1).write().format("com.databricks.spark.csv").option("header","true").save(FileName);
tpDF.write.option("header", true).save("test")