Apache spark PySpark翻转键/值
我试图从数据集中翻转键值以进行排序。但是,map函数返回无效语法错误Apache spark PySpark翻转键/值,apache-spark,pyspark,Apache Spark,Pyspark,我试图从数据集中翻转键值以进行排序。但是,map函数返回无效语法错误 rdd=clean\u headers\u rdd.rdd\ .filter(λx:x['date'].year==2016)\ .map(lambda x:(x['user_id'],1)).reduceByKey(lambda x,y:x+y)\ .map(lambda(x,y):(y,x)).sortByKey(升序=False) 推荐的方法: rdd.map(lambda x_y:(x_y[1],x_y[0])
rdd=clean\u headers\u rdd.rdd\
.filter(λx:x['date'].year==2016)\
.map(lambda x:(x['user_id'],1)).reduceByKey(lambda x,y:x+y)\
.map(lambda(x,y):(y,x)).sortByKey(升序=False)
- 推荐的方法:
rdd.map(lambda x_y:(x_y[1],x_y[0])
- 使用
模块的快捷方式:操作员
从操作员导入itemgetter map(itemgetter(1,0))
- 切片:
rdd.map(lambda x:x[:-1])
lambda x:(x[1],x[0])