Apache spark 从pyspark中的列表列表生成多个列表
我有以下模式的一些记录:Apache spark 从pyspark中的列表列表生成多个列表,apache-spark,pyspark,rdd,Apache Spark,Pyspark,Rdd,我有以下模式的一些记录: (key,[[value1,value2],[value3,value4]]) 我要做的是针对以下每个记录: (key,[value1,value2]) (key,[value3,value4]) 在Pyspark中使用RDDAPI 对于输入和输出之间的一对多关系,我想我可以使用flatMap,但我不确定在这种情况下如何应用它。有什么想法吗?您可以使用flatMapValues: rdd2 = rdd.flatMapValues(lambda
(key,[[value1,value2],[value3,value4]])
我要做的是针对以下每个记录:
(key,[value1,value2])
(key,[value3,value4])
在Pyspark中使用RDDAPI
对于输入和输出之间的一对多关系,我想我可以使用flatMap,但我不确定在这种情况下如何应用它。有什么想法吗?您可以使用
flatMapValues
:
rdd2 = rdd.flatMapValues(lambda x: x)