Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/mongodb/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mongodb Spark-是否有方法查看任务进度?_Mongodb_Apache Spark_Intellij Idea_Gradle - Fatal编程技术网

Mongodb Spark-是否有方法查看任务进度?

Mongodb Spark-是否有方法查看任务进度?,mongodb,apache-spark,intellij-idea,gradle,Mongodb,Apache Spark,Intellij Idea,Gradle,我有一个Spark任务,它应该通过连接器将结果数据帧输出到MongoDB 当我通过DF的show方法输出结果时,任务运行得非常快(尽管这在很大程度上取决于我显示的行数)。每次默认显示大约40秒() 然而,当我只想使用DataFrame的count()方法计算行数时,它会花费很长时间,而且永远不会结束。我甚至不确定它是否真的在做什么。它只是停留在舞台上: 建筑83%>:运行 当我试图将结果输出到本地MongoDB时也会发生同样的情况。我要输出到的集合保持为空 我真的不明白为什么会这样。要么任务耗时

我有一个Spark任务,它应该通过连接器将结果数据帧输出到MongoDB

当我通过DF的show方法输出结果时,任务运行得非常快(尽管这在很大程度上取决于我显示的行数)。每次默认显示大约40秒()

然而,当我只想使用DataFrame的count()方法计算行数时,它会花费很长时间,而且永远不会结束。我甚至不确定它是否真的在做什么。它只是停留在舞台上:

建筑83%>:运行

当我试图将结果输出到本地MongoDB时也会发生同样的情况。我要输出到的集合保持为空

我真的不明白为什么会这样。要么任务耗时太长,要么就是因为某种原因被卡住了


是否有办法跟踪在该阶段是否确实发生了某些事情?

您是否尝试过从浏览器访问Spark UI?没有,从未尝试过。我怎么做?找到了。谢谢。您尝试过从浏览器访问Spark UI吗?没有,从未尝试过。我怎么做?找到了。谢谢