Scala 在main外部使用spark上下文
我很抱歉,如果这是一个基本问题,但我找不到答案搜索它,或者我在寻找错误的东西 我在一个程序中有两个文件:main.scala和second.scalaScala 在main外部使用spark上下文,scala,apache-spark,Scala,Apache Spark,我很抱歉,如果这是一个基本问题,但我找不到答案搜索它,或者我在寻找错误的东西 我在一个程序中有两个文件:main.scala和second.scala object main { def main(args: Array[String]) = { /*load spark conf*/ val sparkConf = new SparkConf().setAppName("main") val sc = new SparkContext(sparkConf)
object main {
def main(args: Array[String]) = {
/*load spark conf*/
val sparkConf = new SparkConf().setAppName("main")
val sc = new SparkContext(sparkConf)
}
}
单独归档
object second {
val somelist = list(1,2,3)
sc.parallelize(somelist)
}
我想在第二个文件中创建和RDD,但我不能调用sc,因为它超出了范围?(无论我把sc放在哪里或使用什么进口)
如何解决此问题?
sc
是一个方法变量,它只存在于方法main
中。要使用sc,必须将上下文对象作为参数传递给方法,如下所示
object Second {
def createRDD(sc: SparkContext) = {
val somelist = list(1,2,3)
sc.parallelize(somelist)
}
}
在main
object main {
def main(args: Array[String]) = {
/*load spark conf*/
val sparkConf = new SparkConf().setAppName("main")
val sc = new SparkContext(sparkConf)
Second.createRDD(sc)
}
}