Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在spark中读取csv文件作为数据帧_Apache Spark - Fatal编程技术网

Apache spark 在spark中读取csv文件作为数据帧

Apache spark 在spark中读取csv文件作为数据帧,apache-spark,Apache Spark,我是spark的新手,我有一个超过1500列的csv文件。我喜欢在spark中将其作为数据帧加载。我不知道该怎么做。 感谢使用此项目 头版有一个例子: import org.apache.spark.sql.SQLContext val sqlContext = new SQLContext(sc) val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") //

我是spark的新手,我有一个超过1500列的csv文件。我喜欢在spark中将其作为数据帧加载。我不知道该怎么做。 感谢使用此项目

头版有一个例子:

import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")