Python 为什么我的PySpark程序会在以下两种情况之间徘徊

Python 为什么我的PySpark程序会在以下两种情况之间徘徊,python,apache-spark,pyspark,rdd,Python,Apache Spark,Pyspark,Rdd,我已经编写了一个PySpark程序,当我运行它时,它会打印很多输出,然后突然挂起,屏幕上出现以下语句 [Stage 11:===================================> (65 + 1) / 100] 从这里开始根本没有进展。是节目真的结束了还是这里出了什么问题 当您使用Apache Spark时,这是非常常见的,可能有一些问题或异常没有显示在终端中,但是要调试它,您可以读取运行时发生的情况,但是取决于当前安装的Apache

我已经编写了一个PySpark程序,当我运行它时,它会打印很多输出,然后突然挂起,屏幕上出现以下语句

[Stage 11:===================================>                   (65 + 1) / 100]

从这里开始根本没有进展。是节目真的结束了还是这里出了什么问题

当您使用
Apache Spark
时,这是非常常见的,可能有一些问题或异常没有显示在终端中,但是要调试它,您可以读取运行时发生的情况,但是取决于当前安装的Apache Spark(这就是为什么我不发布链接),您可以找到有关此文档的更多信息

您必须搜索此WebUI,在说明列中,您可以单击+详细信息(要获得该信息,您需要单击作业,您将进行调试),如果继续,您将找到越来越多的信息


我也有类似的绞刑问题。 最初,我的spark配置是

`

`

产生了悬挂,和你的相似。

[第三阶段:=========================>(1+0)/2]

在我的配置中更改了我主人的URI之后,我不再体验挂起。 `

`


主机的URL通常位于
localhost:8080

谢谢。我现在就要这么做了。@AbhishekShivkumar我当前的安装有问题,这就是为什么我没有显示正确的图像,但是我会在几分钟~几个小时内完成。你知道为什么我的安装中也没有显示“详细信息”吗?我看不到细节。。。我在笔记本电脑上以本地模式运行。@AbhishekShivkumar您必须单击蓝色字符串才能获得详细信息。我更新了图片,如您所见,您可以找到有关+详细信息的更多信息。太好了,谢谢。我看到了。我们能看看我的pySpark代码中哪一行失败了吗?
conf = SparkConf()
conf.setAppName('AppName') \
        .setMaster('local[*]')
conf = SparkConf()
conf.setAppName('App Name') \
    .setMaster('spark://hostname-of-master:7077')