Apache spark 在spark中读取csv文件作为数据帧
我是spark的新手,我有一个超过1500列的csv文件。我喜欢在spark中将其作为数据帧加载。我不知道该怎么做。 感谢使用此项目 头版有一个例子:Apache spark 在spark中读取csv文件作为数据帧,apache-spark,Apache Spark,我是spark的新手,我有一个超过1500列的csv文件。我喜欢在spark中将其作为数据帧加载。我不知道该怎么做。 感谢使用此项目 头版有一个例子: import org.apache.spark.sql.SQLContext val sqlContext = new SQLContext(sc) val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") //
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true") // Use first line of all files as header
.option("inferSchema", "true") // Automatically infer data types
.load("cars.csv")