Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark UI中未显示阶段_Apache Spark - Fatal编程技术网

Apache spark Spark UI中未显示阶段

Apache spark Spark UI中未显示阶段,apache-spark,Apache Spark,我已经用Spark编写了一个程序,它有以下详细信息: Line Number Job Showing in Spark UI(yes/No) ---------------------------------------------------- 56 lines.count() yes 82 blockMap.count()

我已经用Spark编写了一个程序,它有以下详细信息:

Line Number    Job                              Showing in Spark UI(yes/No)
----------------------------------------------------
56             lines.count()                     yes
82             blockMap.count()                  yes
67             blockMap=lines.mapToPair          yes
85             block=blockMap.groupByKey         no
87             block.count()                     yes
122            map2.count()                      yes
90             map2=block.flatMapToPair          yes
192            reduce1.count()                   No
128            reduce1=map2.groupByKey.mapToPair No
226            result.count()                    yes
199            result=reduce1.map                No 
为什么Spark UI中没有显示所有作业?另外,为什么count在实际RDD操作之前运行


提前谢谢。

您能澄清一下,这里的UI中没有显示是什么意思吗?您如何能够看到计划分为多个阶段,而不在UI中看到每个阶段?在这种情况下,如果您能够提供代码和/或执行的图形,这将非常有用。另外,请注意最后一个问题,阶段编号顺序并不意味着日程安排的顺序。它们不是阶段编号,而是我的程序UI中的行号,显示阶段进度条,指示我的程序的行号。我已经给出了代码中每个操作和转换后的计数。因此,我认为每个动作及其对应的计数都应该在UI中显示为正在进行。