scala代码在spark中引发异常

scala代码在spark中引发异常,scala,apache-spark,Scala,Apache Spark,我是scala和spark的新手。今天我试着写一些代码,让它在spark上运行,但遇到了一个例外 此代码在本地scala中工作 import org.apache.commons.lang.time.StopWatch import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable.ListBuffer import scala.util.Random def test(): List[I

我是scala和spark的新手。今天我试着写一些代码,让它在spark上运行,但遇到了一个例外

此代码在本地scala中工作

import org.apache.commons.lang.time.StopWatch
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer
import scala.util.Random

  def test(): List[Int] = {
    val size = 100
    val range = 100
    var listBuffer = new ListBuffer[Int] // here throw an exception
    val random = new Random()
    for (i <- 1 to size)
      listBuffer += random.nextInt(range)
    listBuffer.foreach(x => println(x))
    listBuffer.toList
  }
如果我注释掉下面的代码,则该代码在spark中工作

for (i <- 1 to size)

for(i谢谢@Imm,我已经解决了这个问题。根本原因是我的本地scala是2.11.4,但我的spark cluster运行的是1.2.0版本。spark的1.2版本是由2.10 scala编译的


因此,解决方案是使用2.10 scala编译本地代码,并将编译后的jar上载到spark中。一切正常。

Sort.scala的第35行是什么?
新的ListBuffer
行?这似乎很奇怪,当您稍后删除for时会抛出一个异常。请发布一个完整的示例,该示例在Sparkt中失败scala版本不匹配。请检查您正在使用的scala版本是否与spark所针对的版本匹配,以及您正在运行的群集上的版本是否匹配。您能解释一下您到底做了什么吗?只需设置
scalaVersion:=“2.10.0”
来自.sbt文件中的
2.11.4
?我有与@gsamaras相同的问题did@HappyCoding我不记得我是如何解决的,但以下是我的经验:谢谢!我按照你的建议解决了这个问题,降级scala编译器版本。
for (i <- 1 to size)