Apache spark 通过traefik在远程Spark群集上运行PySpark

我正在使用连接到远程主机：

conf = SparkConf()
conf.setMaster('spark://ip:80')
conf.setAppName('spark-yarn')
sc = SparkContext(conf=conf)

def mod(x):
    import numpy as np
    return (x, np.mod(x, 2))

rdd = sc.parallelize(range(1000)).map(mod).take(10)

ip:8080/仪表板

通向

traefik

仪表板

这些是

traefic

仪表板上的火花数据，其中

web

entrypoint具有端口80

设置主URL的正确方法是什么？我认为我设置它的方式是错误的，因为我收到了这个错误：

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NullPointerException
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:613)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:238)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Py4JJavaError:调用None.org.apache.spark.api.java.JavaSparkContext时出错。
：java.lang.NullPointerException
位于org.apache.spark.SparkContext（SparkContext.scala:613）
位于org.apache.spark.api.java.JavaSparkContext（JavaSparkContext.scala:58）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:423）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:247）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）
在py4j.Gateway.invoke处（Gateway.java:238）
位于py4j.commands.ConstructorCommand.invokeConstructor（ConstructorCommand.java:80）
在py4j.commands.ConstructorCommand.execute处（ConstructorCommand.java:69）
在py4j.GatewayConnection.run处（GatewayConnection.java:238）
运行（Thread.java:748）