Apache spark Spark ML库

我正在测试我在MLlib:Main指南中找到的Scala代码

但是这条线报告了一个错误

val df = data.map(Tuple1.apply).toDF("features")

上面说,， 值toDF不是Seq[（org.apache.spark.ml.linalg.Vector，）]的成员

值数据（Seq[Vector]）似乎没有映射方法

关于如何进行有什么想法吗

下面是我的pom.xml

<dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.3.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.3.0</version>
    </dependency>

</dependencies>

org.apache.spark
spark-mllib_2.11
2.3.0
org.apache.spark
spark-core_2.11
2.3.0

此时，您没有启动

SparkSession

或任何启动。我相信

toDF

来自导入

spark.implicits.\u

其中

spark

是一个

SparkSession

。文档中有时没有明确说明这一点，并且/或者假设您正在Spark shell中工作，Spark shell会自动创建会话

---

您的代码确实在spark shell中运行。

这是因为缺少scala.Seq的隐式转换

要解决您的问题，请添加这些行

val name = "application name"
val spark = SparkSession
  .builder
  .appName(name)
  .master("local")
  .getOrCreate()

import spark.implicits._

---

希望有帮助

错误与映射方法无关。。。上面说托夫不存在欢迎你@Dalengus。请让我的答案正确！

val name = "application name"
val spark = SparkSession
  .builder
  .appName(name)
  .master("local")
  .getOrCreate()

import spark.implicits._