Mapreduce Pyspark频率计数

我正在学习PySpark映射和reduce。我想做的是使用mapreduce将rdd转换为基于每个t的u列出现次数的频率计数。例如：

输入：

 rdd = [u"(u't1', u'u1', 0.8)",
       u"(u't1', u'u2', 0.1)",
       u"(u't1', u'u3', 0.3)",
       u"(u't1', u'u4', 0.4)",
       u"(u't2', u'u1',  0.8)",
       u"(u't2', u'u2',  0.3)"]

输出：

output= u"(u't1', u' u1', 0.8, 4)",
       u"(u't1', u' u2', 0.1, 4)",
       u"(u't1', u' u3', 0.3, 4)",
       u"(u't1', u' u4', 0.4, 4)",
       u"(u't2', u' u1',  0.8, 2)",
       u"(u't2', u' u2',  0.3, 2)"]

我试着去做

 rdd.map(lambda row: ((row[0], (row[1], row[2])), 1)).\
         reduceByKey(lambda (a1,b1,c1),(a2,b2,c2): (a1+a2,b1+b2,c1+c2))

但不工作。错误消息行太多，无法解压缩。有什么建议吗？谢谢。

一种方法是

>>> rdd = sc.parallelize([('t1', 'u1', 0.8),
...        ('t1', 'u2', 0.1),
...        ('t1', 'u3', 0.3),
...        ('t1', 'u4', 0.4),
...        ('t2', 'u1',  0.8),
...        ('t2', 'u2',  0.3)])

>>> rdd1 = rdd.map(lambda r: (r[0],(r[1],r[2])))
>>> rdd2 = sc.parallelize(rdd.map(lambda r: (r[0],(r[1],r[2]))).countByKey().items())

>>> rdd1.join(rdd2).map(lambda (a,((b,c),d)): (a,b,c,d)).collect()              
[('t2', 'u1', 0.8, 2), ('t2', 'u2', 0.3, 2), ('t1', 'u1', 0.8, 4), ('t1', 'u2', 0.1, 4), ('t1', 'u3', 0.3, 4), ('t1', 'u4', 0.4, 4)]

---

谢谢！通过映射和连接尝试了类似的东西，它正在工作。