Java MapReduce到Spark

Java MapReduce到Spark,java,hadoop,mapreduce,apache-spark,Java,Hadoop,Mapreduce,Apache Spark,我有一份用Java编写的MapReduce作业。它取决于多个类。我想在Spark上运行MapReduce作业 我应该遵循哪些步骤来执行相同的操作 我只需要对MapReduce类进行更改 谢谢 这是一个非常广泛的问题,但其不足之处在于: 创建输入数据的RDD 使用映射器代码调用map。输出键值对 用你的减速机代码调用reduceByKey 将生成的RDD写入磁盘 Spark比MapReduce更灵活:在第1步和第4步之间,您可以使用多种方法来转换数据。首先阅读以下博文:谢谢@JeremyBeard

我有一份用Java编写的MapReduce作业。它取决于多个类。我想在Spark上运行MapReduce作业

我应该遵循哪些步骤来执行相同的操作

我只需要对MapReduce类进行更改


谢谢

这是一个非常广泛的问题,但其不足之处在于:

  • 创建输入数据的RDD
  • 使用映射器代码调用
    map
    。输出键值对
  • 用你的减速机代码调用
    reduceByKey
  • 将生成的RDD写入磁盘

  • Spark比MapReduce更灵活:在第1步和第4步之间,您可以使用多种方法来转换数据。

    首先阅读以下博文:谢谢@JeremyBeard。这是我开始写这篇文章时读到的第一篇文章。我更新了我的问题。任何帮助都将不胜感激。