Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 在main外部使用spark上下文_Scala_Apache Spark - Fatal编程技术网

Scala 在main外部使用spark上下文

Scala 在main外部使用spark上下文,scala,apache-spark,Scala,Apache Spark,我很抱歉,如果这是一个基本问题,但我找不到答案搜索它,或者我在寻找错误的东西 我在一个程序中有两个文件:main.scala和second.scala object main { def main(args: Array[String]) = { /*load spark conf*/ val sparkConf = new SparkConf().setAppName("main") val sc = new SparkContext(sparkConf)

我很抱歉,如果这是一个基本问题,但我找不到答案搜索它,或者我在寻找错误的东西

我在一个程序中有两个文件:main.scala和second.scala

object main {
  def main(args: Array[String]) = {
    /*load spark conf*/
    val sparkConf = new SparkConf().setAppName("main")
    val sc = new SparkContext(sparkConf)
    }
}
单独归档

object second {
    val somelist = list(1,2,3)
    sc.parallelize(somelist)
}
我想在第二个文件中创建和RDD,但我不能调用sc,因为它超出了范围?(无论我把sc放在哪里或使用什么进口)


如何解决此问题?

sc
是一个方法变量,它只存在于方法
main
中。要使用sc,必须将上下文对象作为参数传递给方法,如下所示

object Second {
 def createRDD(sc: SparkContext) = {
    val somelist = list(1,2,3)
    sc.parallelize(somelist)
  }
}
main

object main {
  def main(args: Array[String]) = {
    /*load spark conf*/
    val sparkConf = new SparkConf().setAppName("main")
    val sc = new SparkContext(sparkConf)
    Second.createRDD(sc)
    }
}