spark reduce是否可以像hadoop mapreduce那样按键迭代所有值 在我的项目中,我需要考虑一个键的所有值来决定MapReduce的输出。在hadoop mapreduce中,这可以像代码一样轻松实现: reduceFunction (Text key, Iterator <V> valueIter) { outputAttri res; for (value : valueIter) { if (condition_1 (value)) addingInfo_1 (res); else if (condition_2 (value)) addingInfo_2 (res); ...... } myOutput outputValue = allConditions (res); outputKeyValue (key, outputValue); }
任何spark RDD mapreduce都可以按键全局处理所有值吗?请提供示例数据和预期输出。请参阅spark文档:-专门查找spark reduce是否可以像hadoop mapreduce那样按键迭代所有值 在我的项目中,我需要考虑一个键的所有值来决定MapReduce的输出。在hadoop mapreduce中,这可以像代码一样轻松实现: reduceFunction (Text key, Iterator <V> valueIter) { outputAttri res; for (value : valueIter) { if (condition_1 (value)) addingInfo_1 (res); else if (condition_2 (value)) addingInfo_2 (res); ...... } myOutput outputValue = allConditions (res); outputKeyValue (key, outputValue); },hadoop,apache-spark,mapreduce,Hadoop,Apache Spark,Mapreduce,任何spark RDD mapreduce都可以按键全局处理所有值吗?请提供示例数据和预期输出。请参阅spark文档:-专门查找reduceByKey。 reduceCall (v v1, v2) -> return (v) myFunction (v1, v2);
reduceByKey
。
reduceCall (v v1, v2) -> return (v) myFunction (v1, v2);