Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python apachespark从连接结果集(K,(V,W))到(V,W)键值对的转换_Python_Apache Spark - Fatal编程技术网

Python apachespark从连接结果集(K,(V,W))到(V,W)键值对的转换

Python apachespark从连接结果集(K,(V,W))到(V,W)键值对的转换,python,apache-spark,Python,Apache Spark,我确实有来自ApacheSpark中联接的(K,(V,W))格式的结果集。我需要在Python中使用ApacheSpark将其简化为(V,W)。我应该使用什么函数将(K,(V,W))转换为(V,W) 我是ApacheSpark新手,并回顾了ApacheSpark可用的函数。但我觉得这不适合这种情况。作为@Pangea提出的map解决方案的替代方案,您也可以使用values方法: animals=sc.parallelize([(1,"mouse"),(2,"elephant"),(3,"cat"

我确实有来自ApacheSpark中联接的(K,(V,W))格式的结果集。我需要在Python中使用ApacheSpark将其简化为(V,W)。我应该使用什么函数将(K,(V,W))转换为(V,W)


我是ApacheSpark新手,并回顾了ApacheSpark可用的函数。但我觉得这不适合这种情况。

作为@Pangea提出的
map
解决方案的替代方案,您也可以使用
values
方法:

animals=sc.parallelize([(1,"mouse"),(2,"elephant"),(3,"cat")])
fruits=sc.parallelize([(1,"apple"),(1,"orange"),(3,"banana")])
fruitAnimals=animals.join(fruits).values()
fruitAnimals.collect()
#[('mouse', 'apple'), ('mouse', 'orange'), ('cat', 'banana')]

当您需要答案时,始终提供示例数据。我很好奇您是否尝试过使用map(…)