Apache spark 被SparkContext导入语句弄糊涂了
我正在努力学习Apache Spark,但我无法理解:Apache spark 被SparkContext导入语句弄糊涂了,apache-spark,Apache Spark,我正在努力学习Apache Spark,但我无法理解: import spark.SparkContext import SparkContext._ 为什么我们需要第二条看起来像第一条的线?SparkContext后面的“.”人是什么?您不需要执行第二行导入SparkContext.\u。对于一个独立的Spark应用程序,比如说Spark 1.6.x的旧方法,下面的内容清楚而简要地说明了这一点: import org.apache.spark.{SparkContext, SparkConf
import spark.SparkContext
import SparkContext._
为什么我们需要第二条看起来像第一条的线?SparkContext后面的“.”人是什么?您不需要执行第二行
导入SparkContext.\u
。对于一个独立的Spark应用程序,比如说Spark 1.6.x的旧方法,下面的内容清楚而简要地说明了这一点:
import org.apache.spark.{SparkContext, SparkConf}
object HelloSpark {
def main(args: Array[String]) {
val sc = new SparkContext(new SparkConf().setAppName("hello spark").setMaster("local"))
val rdd = sc.parallelize(Array(1, 2, 3, 4, 5))
println("count: ")
println(rdd.count())
sc.stop()
}
}
在笔记本电脑中,设置、配置和入口点是自动的
正如我在评论中所说的,转到Spark 2.x、3.x,并通过
在关于自包含应用程序的1.6 Spark指南中,我们确实看到了第二行,但没有明确提到底层类。例如
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
请阅读:导入中的
。
意味着从对象或类导入所有内容