Apache spark 配对两个RDD-s
假设我有两个RDD-s,其中一个是另一个的地图。例如:Apache spark 配对两个RDD-s,apache-spark,Apache Spark,假设我有两个RDD-s,其中一个是另一个的地图。例如: RDD[Double] N; RDD[Double] logN = N.map(x => Math.Log(x)); 我想对它们两个的配对进行操作。 大概是这样的: RDD[Double] NlogN = (N,logN).map((x,y) => x*y); spark中是否提供这种操作?您正在寻找zip N.zip(logN).map { case (x, y) => ... } 如果您只需要对,那么直接映射可能
RDD[Double] N;
RDD[Double] logN = N.map(x => Math.Log(x));
我想对它们两个的配对进行操作。
大概是这样的:
RDD[Double] NlogN = (N,logN).map((x,y) => x*y);
spark中是否提供这种操作?您正在寻找
zip
N.zip(logN).map { case (x, y) => ... }
如果您只需要对,那么直接映射可能是一个更好的选择:
N.map(x=>(x,Math.log(x))
。