Pyspark错误：py4j.java_网关：尝试连接到java服务器时出错（127.0.0.1:50532）

您好，我与Pyspark合作，使用ML软件包实现了一个情绪分析项目，cofde第一次运行良好，但突然显示出上面提到的错误 有人可以帮忙吗？这是完整的错误描述

   ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:50532)
Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 852, in _get_connection
    connection = self.deque.pop()
IndexError: pop from an empty deque

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 990, in start
    self.socket.connect((self.address, self.port))
ConnectionRefusedError: [WinError 10061] Aucune connexion n’a pu être établie car l’ordinateur cible l’a expressément refusée

---

如果您正在使用Jupyter nootbook，只需重新启动您的笔记本。如果没有，则重新启动pyspark。这应该可以解决问题。

---

发生这种情况是因为您使用了太多的收集或其他与内存相关的问题。

我在Docker容器中尝试使用PySpark时遇到此错误。在我的例子中，错误源于我向Spark分配了比Docker能够访问的更多的资源

我在处理colab时遇到了同样的问题。我终止了当前会话并重新连接。这对我有用

为Spark添加更多资源。例如，如果您使用的是本地模式，则以下配置就足够了：

spark = SparkSession.builder \
.appName('app_name') \
.master('local[*]') \
.config('spark.sql.execution.arrow.pyspark.enabled', True) \
.config('spark.sql.session.timeZone', 'UTC') \
.config('spark.driver.memory','32G') \
.config('spark.ui.showConsoleProgress', True) \
.config('spark.sql.repl.eagerEval.enabled', True) \
.getOrCreate()

---

可能spark UI的端口已被占用，可能在此错误之前还有其他错误

也许这可以帮助你：https://stackoverflow.com/questions/32820087/spark-multiple-spark-submit-in-parallel

spark-submit --conf spark.ui.port=5051

---

我在尝试从shell初始化SparkContext时遇到此错误。SparkContext是在shell中自动创建的。就我而言，我在jupyter笔记本中工作，因此我必须手动初始化SparkContext。如果我在生产环境中运行它，如何解决此问题。比如，我需要刷新ram并重新启动应用程序还是其他什么？如果您能够成功运行应用程序一次，也许重新启动它会有所帮助。就我而言，我就是无法让它运行，哪怕只有一次。最终将spark驱动程序的内存减少到可以安全装入容器的内存。