Scala reducebykey不是org.apache.spark.sql.Dataset的成员

请帮助说明

ticker\u data\u-pair\u-rdd

？

中的错误，即使您调用

ticker\u-data\u-rdd

，它似乎不是rdd，而是数据集，所以您不能在那里使用该方法

如果您愿意，可以将其转换为RDD（我认为这不是一个好主意）

或者您可以在数据集中执行

reduceByKey

“等效”操作，如下所示：

val ticker_data_pair_rdd = ticker_data_rdd
                           .map(x=> (x(0).toString,(x(2).toString.toDouble,x(3).toString.toDouble)))
                           .rdd
                           .reduceByKey((x,y)=> (y._1,x._2))

---

关于RDD与数据集的一些信息

即使您调用了

ticker\u data\u RDD

，但它似乎不是RDD而是数据集，因此您不能在那里使用该方法

如果您愿意，可以将其转换为RDD（我认为这不是一个好主意）

或者您可以在数据集中执行

reduceByKey

“等效”操作，如下所示：

val ticker_data_pair_rdd = ticker_data_rdd
                           .map(x=> (x(0).toString,(x(2).toString.toDouble,x(3).toString.toDouble)))
                           .rdd
                           .reduceByKey((x,y)=> (y._1,x._2))

关于RDD与Dataset的一些信息

val ticker_data_pair_rdd = ticker_data_rdd
                           .map(x=> (x(0).toString,(x(2).toString.toDouble,x(3).toString.toDouble)))
                           .groupBy($"_1").agg(collect_list($"_2"))