将数据帧写入CSV-Spark 1.6

我正在尝试将pyspark数据帧写入CSV。我有Spark 1.6，我正在尝试一些东西，比如：df.write.format'com.intelli.Spark.csv.save'mycsv.csv'和df.write.format'com.databricks.Spark.csv'。savePATH

它们总是给出一个类似java.lang.ClassNotFoundException的错误：找不到数据源：com.intelli.spark.csv。请在以下网址查找包裹：http://spark-packages.org.

---

我曾尝试下载spark-cv_2.10-0.1.jar并在spark submit的-jars参数中使用它，但这也导致了类似的错误。我也尝试过spark shell-packages com.databricks:spark-csv_2.10:1.5.0，但它会导致服务器访问错误。

试试这种方法。在spark 1.6中，您必须将其转换为rdd并编写

def toCSVLine(data):
    return ','.join(str(d) for d in data)

rdd1 = df.rdd.map(toCSVLine)
rdd1.saveAsTextFile('output_dir')

编辑-

通过后，尝试将此添加到您的spark代码中 -py文件参数。 spark.sparkContext.addPyFile/path/to/jar/xxxx.jar