Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 从pyspark中的列表列表生成多个列表_Apache Spark_Pyspark_Rdd - Fatal编程技术网

Apache spark 从pyspark中的列表列表生成多个列表

Apache spark 从pyspark中的列表列表生成多个列表,apache-spark,pyspark,rdd,Apache Spark,Pyspark,Rdd,我有以下模式的一些记录: (key,[[value1,value2],[value3,value4]]) 我要做的是针对以下每个记录: (key,[value1,value2]) (key,[value3,value4]) 在Pyspark中使用RDDAPI 对于输入和输出之间的一对多关系,我想我可以使用flatMap,但我不确定在这种情况下如何应用它。有什么想法吗?您可以使用flatMapValues: rdd2 = rdd.flatMapValues(lambda

我有以下模式的一些记录:

    (key,[[value1,value2],[value3,value4]])
我要做的是针对以下每个记录:

    (key,[value1,value2])
    (key,[value3,value4])
在Pyspark中使用RDDAPI


对于输入和输出之间的一对多关系,我想我可以使用flatMap,但我不确定在这种情况下如何应用它。有什么想法吗?

您可以使用
flatMapValues

rdd2 = rdd.flatMapValues(lambda x: x)