Apache spark 在SPARK standalone中使用SPARK-SHELL时初始化SparkContext时出错
我已经安装了Scala 我已经安装了Java8 此外,spark、java和Hadoop的所有环境变量都已设置 运行spark shell命令时仍出现此错误。请有人帮忙…谷歌了很多,但没有找到任何东西Apache spark 在SPARK standalone中使用SPARK-SHELL时初始化SparkContext时出错,apache-spark,Apache Spark,我已经安装了Scala 我已经安装了Java8 此外,spark、java和Hadoop的所有环境变量都已设置 运行spark shell命令时仍出现此错误。请有人帮忙…谷歌了很多,但没有找到任何东西 Spark的shell提供了一种学习API的简单方法,通过在Spark目录中运行以下命令启动shell: ./bin/spark-shell 然后在scala代码段下面运行: import org.apache.spark.sql.SparkSession val logFile = "YOU
Spark的shell提供了一种学习API的简单方法,通过在Spark目录中运行以下命令启动shell:
./bin/spark-shell
然后在scala代码段下面运行:
import org.apache.spark.sql.SparkSession
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")
如果仍然存在stills错误,那么我们必须查看环境设置您应该将错误的相关部分粘贴为text error:not found valuespark@VibhorGupta编辑我的答案,尝试让我知道进展