Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
spark reduce是否可以像hadoop mapreduce那样按键迭代所有值 在我的项目中,我需要考虑一个键的所有值来决定MapReduce的输出。在hadoop mapreduce中,这可以像代码一样轻松实现: reduceFunction (Text key, Iterator <V> valueIter) { outputAttri res; for (value : valueIter) { if (condition_1 (value)) addingInfo_1 (res); else if (condition_2 (value)) addingInfo_2 (res); ...... } myOutput outputValue = allConditions (res); outputKeyValue (key, outputValue); }_Hadoop_Apache Spark_Mapreduce - Fatal编程技术网

spark reduce是否可以像hadoop mapreduce那样按键迭代所有值 在我的项目中,我需要考虑一个键的所有值来决定MapReduce的输出。在hadoop mapreduce中,这可以像代码一样轻松实现: reduceFunction (Text key, Iterator <V> valueIter) { outputAttri res; for (value : valueIter) { if (condition_1 (value)) addingInfo_1 (res); else if (condition_2 (value)) addingInfo_2 (res); ...... } myOutput outputValue = allConditions (res); outputKeyValue (key, outputValue); }

spark reduce是否可以像hadoop mapreduce那样按键迭代所有值 在我的项目中,我需要考虑一个键的所有值来决定MapReduce的输出。在hadoop mapreduce中,这可以像代码一样轻松实现: reduceFunction (Text key, Iterator <V> valueIter) { outputAttri res; for (value : valueIter) { if (condition_1 (value)) addingInfo_1 (res); else if (condition_2 (value)) addingInfo_2 (res); ...... } myOutput outputValue = allConditions (res); outputKeyValue (key, outputValue); },hadoop,apache-spark,mapreduce,Hadoop,Apache Spark,Mapreduce,任何spark RDD mapreduce都可以按键全局处理所有值吗?请提供示例数据和预期输出。请参阅spark文档:-专门查找reduceByKey。 reduceCall (v v1, v2) -> return (v) myFunction (v1, v2);

任何spark RDD mapreduce都可以按键全局处理所有值吗?

请提供示例数据和预期输出。请参阅spark文档:-专门查找
reduceByKey
reduceCall (v v1, v2) -> return (v) myFunction (v1, v2);