Mongodb Spark-是否有方法查看任务进度?
我有一个Spark任务,它应该通过连接器将结果数据帧输出到MongoDB 当我通过DF的show方法输出结果时,任务运行得非常快(尽管这在很大程度上取决于我显示的行数)。每次默认显示大约40秒() 然而,当我只想使用DataFrame的count()方法计算行数时,它会花费很长时间,而且永远不会结束。我甚至不确定它是否真的在做什么。它只是停留在舞台上: 建筑83%>:运行 当我试图将结果输出到本地MongoDB时也会发生同样的情况。我要输出到的集合保持为空 我真的不明白为什么会这样。要么任务耗时太长,要么就是因为某种原因被卡住了Mongodb Spark-是否有方法查看任务进度?,mongodb,apache-spark,intellij-idea,gradle,Mongodb,Apache Spark,Intellij Idea,Gradle,我有一个Spark任务,它应该通过连接器将结果数据帧输出到MongoDB 当我通过DF的show方法输出结果时,任务运行得非常快(尽管这在很大程度上取决于我显示的行数)。每次默认显示大约40秒() 然而,当我只想使用DataFrame的count()方法计算行数时,它会花费很长时间,而且永远不会结束。我甚至不确定它是否真的在做什么。它只是停留在舞台上: 建筑83%>:运行 当我试图将结果输出到本地MongoDB时也会发生同样的情况。我要输出到的集合保持为空 我真的不明白为什么会这样。要么任务耗时
是否有办法跟踪在该阶段是否确实发生了某些事情?您是否尝试过从浏览器访问Spark UI?没有,从未尝试过。我怎么做?找到了。谢谢。您尝试过从浏览器访问Spark UI吗?没有,从未尝试过。我怎么做?找到了。谢谢