星火；Scala：以数据帧/数据集的形式读入CSV文件

来自

R

世界，我想使用Scala Shell（

/Spark Shell

）将.csv导入Spark（v.1.6.1）

My.csv有一个标题，看起来像

"col1","col2","col3"
1.4,"abc",91
1.3,"def",105
1.35,"gh1",104

---

谢谢。

Spark 2.0+

由于

databricks/spark csv

已集成到spark中，因此使用

旧版本

重新启动spark shell后，我自己找到了答案-可能对其他人有帮助：

按照所述安装并使用

/spark shell--packages com.databricks:spark-csv_2.11:1.4.0启动spark shell后：

scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)
scala> val df = sqlContext.read.format("com.databricks.spark.csv")
    .option("header", "true")
    .option("inferSchema", "true")
    .load("/home/vb/opt/spark/data/mllib/mydata.csv")
scala> df.printSchema()
root
 |-- col1: double (nullable = true)
 |-- col2: string (nullable = true)
 |-- col3: integer (nullable = true)

Spark 2.0+

由于
databricks/spark csv
已集成到spark中，因此使用

旧版本

重新启动spark shell后，我自己找到了答案-可能对其他人有帮助：

按照所述安装并使用
/spark shell--packages com.databricks:spark-csv_2.11:1.4.0启动spark shell后：

scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)
scala> val df = sqlContext.read.format("com.databricks.spark.csv")
    .option("header", "true")
    .option("inferSchema", "true")
    .load("/home/vb/opt/spark/data/mllib/mydata.csv")
scala> df.printSchema()
root
 |-- col1: double (nullable = true)
 |-- col2: string (nullable = true)
 |-- col3: integer (nullable = true)

火花是什么？这是spark上下文吗？不，启动spark 2.0 spark指的是新的
SparkSession
，请参见-我在答案中添加了这一点。谢谢火花是什么？这是spark上下文吗？不，启动spark 2.0 spark指的是新的
SparkSession
，请参见-我在答案中添加了这一点。谢谢