jupyter上的Pyspark命令：连接远程服务器上的spark

我已经在我的远程linux服务器（IBM RHEL Z systems）上配置了Spark 2.1。我试图创建一个SparkContext，并得到以下错误

from pyspark.context import SparkContext, SparkConf
master_url="spark://<IP>:7077"
conf = SparkConf()
conf.setMaster(master_url)
conf.setAppName("App1")
sc = SparkContext.getOrCreate(conf)

从pyspark.context导入SparkContext，SparkConf
master_url=“spark://:7077”
conf=SparkConf（）
conf.setMaster（master\u url）
conf.setAppName（“App1”）
sc=SparkContext.getOrCreate（conf）

我得到下面的错误。当我在pysparkshell中的远程服务器上运行相同的代码时，它不会出错

The currently active SparkContext was created at:

(No active SparkContext.)

    at org.apache.spark.SparkContext.assertNotStopped(SparkContext.scala:100)
    at org.apache.spark.SparkContext.getSchedulingMode(SparkContext.scala:1768)
    at org.apache.spark.SparkContext.postEnvironmentUpdate(SparkContext.scala:2411)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:563)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:236)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)

当前活动的SparkContext是在以下位置创建的：
（没有活动的SparkContext。）
位于org.apache.spark.SparkContext.assertNotStopped（SparkContext.scala:100）
位于org.apache.spark.SparkContext.getSchedulingMode（SparkContext.scala:1768）
位于org.apache.spark.SparkContext.postEnvironmentUpdate（SparkContext.scala:2411）
位于org.apache.spark.SparkContext（SparkContext.scala:563）
位于org.apache.spark.api.java.JavaSparkContext（JavaSparkContext.scala:58）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:423）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:247）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）
在py4j.Gateway.invoke处（Gateway.java:236）
位于py4j.commands.ConstructorCommand.invokeConstructor（ConstructorCommand.java:80）
在py4j.commands.ConstructorCommand.execute处（ConstructorCommand.java:69）
在py4j.GatewayConnection.run处（GatewayConnection.java:214）
运行（Thread.java:748）

听起来您还没有将jupyter设置为pyspark驱动程序。在从jupyter控制pyspark之前，必须首先设置

pyspark\u DRIVER\u PYTHON=jupyter

和

pyspark\u DRIVER\u PYTHON\u OPTS='notebook'

。如果我没有弄错的话，请查看

libexec/bin/pyspark

（在OSX上）中的代码，您将找到设置jupyter笔记本的说明。

听起来您还没有将jupyter设置为pyspark驱动程序。在从jupyter控制pyspark之前，必须首先设置

pyspark\u DRIVER\u PYTHON=jupyter

和

pyspark\u DRIVER\u PYTHON\u OPTS='notebook'

。如果我没有弄错，请查看

libexec/bin/pyspark

（在OSX上）中的代码，您将找到设置jupyter笔记本的说明。

这种快速而肮脏的解决方案将导致

spark submit

下游出现问题：。最好通过Jupyter内核来处理它：这种快速而肮脏的解决方案将导致spark submit下游出现问题。最好通过Jupyter内核来处理它：