Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/cmake/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在SPARK standalone中使用SPARK-SHELL时初始化SparkContext时出错_Apache Spark - Fatal编程技术网

Apache spark 在SPARK standalone中使用SPARK-SHELL时初始化SparkContext时出错

Apache spark 在SPARK standalone中使用SPARK-SHELL时初始化SparkContext时出错,apache-spark,Apache Spark,我已经安装了Scala 我已经安装了Java8 此外,spark、java和Hadoop的所有环境变量都已设置 运行spark shell命令时仍出现此错误。请有人帮忙…谷歌了很多,但没有找到任何东西 Spark的shell提供了一种学习API的简单方法,通过在Spark目录中运行以下命令启动shell: ./bin/spark-shell 然后在scala代码段下面运行: import org.apache.spark.sql.SparkSession val logFile = "YOU

我已经安装了Scala

我已经安装了Java8

此外,spark、java和Hadoop的所有环境变量都已设置

运行spark shell命令时仍出现此错误。请有人帮忙…谷歌了很多,但没有找到任何东西


Spark的shell提供了一种学习API的简单方法,通过在Spark目录中运行以下命令启动shell:

./bin/spark-shell
然后在scala代码段下面运行:

import org.apache.spark.sql.SparkSession
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")

如果仍然存在stills错误,那么我们必须查看环境设置

您应该将错误的相关部分粘贴为text error:not found valuespark@VibhorGupta编辑我的答案,尝试让我知道进展