Scala 为后续笛卡尔乘积将文字转换为RDD

Scala 为后续笛卡尔乘积将文字转换为RDD,scala,apache-spark,rdd,Scala,Apache Spark,Rdd,在文档中找不到以下结果是如何产生的: val DIM_Key_Max = rddA.map(x => (x._1)).max 可以随后转换为单个条目RDD,以便与另一个RDD或笛卡尔乘积连接 我哪里也看不到。谁能帮忙?你这里出了点问题。max不会重新运行可以与另一个RDD连接的RDD val rdd=sc.parallelize(Array((1,2),(3,4),(5,6))).map(x=>x._1).max rdd rdd: Int = 5 rdd.getClass re

在文档中找不到以下结果是如何产生的:

 val DIM_Key_Max = rddA.map(x => (x._1)).max 
可以随后转换为单个条目RDD,以便与另一个RDD或笛卡尔乘积连接


我哪里也看不到。谁能帮忙?

你这里出了点问题。max不会重新运行可以与另一个RDD连接的RDD

val rdd=sc.parallelize(Array((1,2),(3,4),(5,6))).map(x=>x._1).max
rdd
rdd: Int = 5
rdd.getClass
res2: Class[Int] = int
max返回单个对象。要将其转换为单条目RDD,请使用parallelize:


这将返回一个RDD,其中有一个条目可以用作cartesian的参数。

我不确定您在问什么。在获得最大值之前,您如何创建rddA。这里真正的问题是什么?您在这里遇到了一些问题。max不会返回可以稍后加入的RDD。例如,我从RDD中获得了所需的最大值。它工作得很好,我想将它用作DF中另一列的偏移量,该列从RDD转换而来。所以,我不知道你在说什么。所以,这就是我的全部观点。我想用这个整数做一个RDD。下面的答案是我想要的。它太简单了,我忽略了这个!Thanks@thebluephantom你也能回顾一下你以前的问题吗?请接受解决你问题的答案。你似乎有一大堆不被接受的答案。谢谢但我不同意这些答案always@thebluephantom然后,您需要对这些答案进行评论,为什么建议的解决方案不适合您,所以这些答案会尝试给出更好的答案。这就是该网站的内容:
sc.parallelize(List(DIM_Key_Max))