Pyspark 在与RDD的键列对应的多个列表中添加元素
我有蟒蛇。我必须为多个列表添加元素。将列表1的元素1添加到列表2的元素1，然后添加到列表3的元素1。 对于加拿大，添加47,59,77作为元素1，添加97,98,63作为第二个元素，依此类推 我尝试将列表展平以添加它们，并尝试转换为dataframe，但失败了。我想通过这三种方式来实现Pyspark 在与RDD的键列对应的多个列表中添加元素,pyspark,Pyspark,我有蟒蛇。我必须为多个列表添加元素。将列表1的元素1添加到列表2的元素1，然后添加到列表3的元素1。 对于加拿大，添加47,59,77作为元素1，添加97,98,63作为第二个元素，依此类推 我尝试将列表展平以添加它们，并尝试转换为dataframe，但失败了。我想通过这三种方式来实现 countryCounts = [ ('CANADA','47;97;33;94;6'), ('CANADA','59;98;24;83;3'), ('CANADA','77;63;93;86;62'), ('C
countryCounts = [
('CANADA','47;97;33;94;6'),
('CANADA','59;98;24;83;3'),
('CANADA','77;63;93;86;62'),
('CHINA','86;71;72;23;27'),
('CHINA','74;69;72;93;7'),
('CHINA','58;99;90;93;41'),
('ENGLAND','40;13;85;75;90'),
('ENGLAND','39;13;33;29;14'),
('ENGLAND','99;88;57;69;49'),
('GERMANY','67;93;90;57;3'),
('GERMANY','9;15;20;19'),
('GERMANY','77;64;46;95;48'),
('INDIA','90;49;91;14;70'),
('INDIA','70;83;38;27;16'),
('INDIA','86;21;19;59;4')
]
countryCountsRdd = sc.parallelize(countryCounts)
countryCountsSplit.collect()
countryCountsGroup=countryCountsSplit.groupByKey().mapValues(list)
countryCountsGroup.collect()
CountsSplit=countryCountsRdd.map(lambda x : (x[0], ",".join(x[1].split(';'))))
countryCountsSplit.collect()
Inputs :
Way 1
[('CANADA', [47, 97, 33, 94, 6]), ('CANADA', [59, 98, 24, 83, 3]), ('CANADA', [77, 63, 93, 86, 62]), ('CHINA', [86, 71, 72, 23, 27]), ('CHINA', [74, 69, 72, 93, 7]), ('CHINA', [58, 99, 90, 93, 41]), ('ENGLAND', [40, 13, 85, 75, 90]), ('ENGLAND', [39, 13, 33, 29, 14]), ('ENGLAND', [99, 88, 57, 69, 49]), ('GERMANY', [67, 93, 90, 57, 3]), ('GERMANY', [9, 15, 20, 19]), ('GERMANY', [77, 64, 46, 95, 48]), ('INDIA', [90, 49, 91, 14, 70]), ('INDIA', [70, 83, 38, 27, 16]), ('INDIA', [86, 21, 19, 59, 4])]
Way 2:
[('CANADA', [[47, 97, 33, 94, 6], [59, 98, 24, 83, 3], [77, 63, 93, 86, 62]]), ('CHINA', [[86, 71, 72, 23, 27], [74, 69, 72, 93, 7], [58, 99, 90, 93, 41]]), ('INDIA', [[90, 49, 91, 14, 70], [70, 83, 38, 27, 16], [86, 21, 19, 59, 4]]), ('ENGLAND', [[40, 13, 85, 75, 90], [39, 13, 33, 29, 14], [99, 88, 57, 69, 49]]), ('GERMANY', [[67, 93, 90, 57, 3], [9, 15, 20, 19], [77, 64, 46, 95, 48]])]
Way 3:
[('CANADA', '47 ,97 ,33 ,94 ,6'), ('CANADA', '59 ,98 ,24 ,83 ,3'), ('CANADA', '77 ,63 ,93 ,86 ,62'), ('CHINA', '86 ,71 ,72 ,23 ,27'), ('CHINA', '74 ,69 ,72 ,93 ,7'), ('CHINA', '58 ,99 ,90 ,93 ,41'), ('ENGLAND', '40 ,13 ,85 ,75 ,90'), ('ENGLAND', '39 ,13 ,33 ,29 ,14'), ('ENGLAND', '99 ,88 ,57 ,69 ,49'), ('GERMANY', '67 ,93 ,90 ,57 ,3'), ('GERMANY', '9 ,15 ,20 ,19'), ('GERMANY', '77 ,64 ,46 ,95 ,48'), ('INDIA', '90 ,49 ,91 ,14 ,70'), ('INDIA', '70 ,83 ,38 ,27 ,16'), ('INDIA', '86 ,21 ,19 ,59 ,4')]
Require same output for all 3 :
[('CANADA','183;258;150;263;71)]
[('CHINA','218,239,234,209,75')]
[('ENGLAND','178,114,175,173,153')]
[('GERMANY','144,166,151,172,70')]
[('INDIA','246,153,148,100,90')]
因此，您可以在RDD上使用一个简单的reduceByKey操作来完成它 输入RDD-RDD[字符串，列表] 输出RDD-输入.reduceByKey（x，y->addFunction（x，y））
addFunction（x，y）迭代输入列表并按索引添加元素，并返回添加的列表，因此您可以在RDD上使用简单的reduceByKey操作来完成此操作 输入RDD-RDD[字符串，列表] 输出RDD-输入.reduceByKey（x，y->addFunction（x，y））
addFunction（x，y）在输入列表上迭代并按索引添加元素，并返回添加的列表您希望通过求和组合给定键的值。这正是
reduceByKeydef myReducer（a、b）：
a、 b=map（int，a.split（“；”），map（int，b.split（“；”）
最大长度=最大长度（长度（a），长度（b））
如果len（a）reduceByKeycountrysrdd.reduceByKey（myReducer.collect（））
#[（‘加拿大’、‘183；258；150；263；71’），
#（‘中国’、‘218；239；234；209；75’），
#（‘印度’、‘246；153；148；100；90’），
#（‘英格兰’、‘178；114；175；173；153’），
#（‘德国’、‘153；172；156；171；51’）]
reduceByKeydef myReducer（a、b）：
a、 b=map（int，a.split（“；”），map（int，b.split（“；”）
最大长度=最大长度（长度（a），长度（b））
如果len（a）reduceByKeycountrysrdd.reduceByKey（myReducer.collect（））
#[（‘加拿大’、‘183；258；150；263；71’），
#（‘中国’、‘218；239；234；209；75’），
#（‘印度’、‘246；153；148；100；90’），
#（‘英格兰’、‘178；114；175；173；153’），
#（‘德国’、‘153；172；156；171；51’）]
myCombinermyReducercountryCountsRddcountCountsSplitmyCombinermyReducercountryCountsRddcountCountsSplit