Apache spark Spark UI中未显示阶段
我已经用Spark编写了一个程序,它有以下详细信息:Apache spark Spark UI中未显示阶段,apache-spark,Apache Spark,我已经用Spark编写了一个程序,它有以下详细信息: Line Number Job Showing in Spark UI(yes/No) ---------------------------------------------------- 56 lines.count() yes 82 blockMap.count()
Line Number Job Showing in Spark UI(yes/No)
----------------------------------------------------
56 lines.count() yes
82 blockMap.count() yes
67 blockMap=lines.mapToPair yes
85 block=blockMap.groupByKey no
87 block.count() yes
122 map2.count() yes
90 map2=block.flatMapToPair yes
192 reduce1.count() No
128 reduce1=map2.groupByKey.mapToPair No
226 result.count() yes
199 result=reduce1.map No
为什么Spark UI中没有显示所有作业?另外,为什么count在实际RDD操作之前运行
提前谢谢。您能澄清一下,这里的UI中没有显示是什么意思吗?您如何能够看到计划分为多个阶段,而不在UI中看到每个阶段?在这种情况下,如果您能够提供代码和/或执行的图形,这将非常有用。另外,请注意最后一个问题,阶段编号顺序并不意味着日程安排的顺序。它们不是阶段编号,而是我的程序UI中的行号,显示阶段进度条,指示我的程序的行号。我已经给出了代码中每个操作和转换后的计数。因此,我认为每个动作及其对应的计数都应该在UI中显示为正在进行。