Python Jupyter+；电子病历&x2B；Spark-从本地计算机上的Jupyter笔记本连接到EMR群集

我是PySpark和EMR的新手。
我试图通过Jupyter笔记本访问运行在EMR集群上的Spark，但遇到了错误

我正在使用以下代码生成SparkSession：

spark = SparkSession.builder \
    .master("local[*]")\
    .appName("Carbon - SingleWell parallelization on Spark")\
    .getOrCreate()

试图访问远程群集，但出现以下错误：

spark = SparkSession.builder \
    .master("spark://<remote-emr-ec2-hostname>:7077")\
    .appName("Carbon - SingleWell parallelization on Spark")\
    .getOrCreate()

spark=SparkSession.builder\
.master（“spark://:7077”）\
.appName（“Spark上的碳-单阱并行化”）\
.getOrCreate（）

错误：

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NullPointerException
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:567)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

Py4JJavaError:调用None.org.apache.spark.api.java.JavaSparkContext时出错。
：java.lang.NullPointerException
位于org.apache.spark.SparkContext（SparkContext.scala:567）
位于org.apache.spark.api.java.JavaSparkContext（JavaSparkContext.scala:58）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）

---

如果您能帮助解决此问题，我们将不胜感激。

EMR群集已为您配置了Jupyter和JupyterHub

---

很可能，使用一些额外的引导操作比连接本地进程与EMR主节点通信更容易。

EMR集群为您配置了Jupyter和JupyterHub

很可能，使用一些额外的引导操作比连接本地进程与EMR主节点通信更容易