Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/ruby-on-rails-4/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark调试特定任务_Apache Spark_Cloudera_Hortonworks Data Platform - Fatal编程技术网

Apache spark Spark调试特定任务

Apache spark Spark调试特定任务,apache-spark,cloudera,hortonworks-data-platform,Apache Spark,Cloudera,Hortonworks Data Platform,我知道这是一个一般性的问题,但我仍然觉得有必要 我有一个火花工作与1个阶段和64个任务。每项任务平均耗时1.5分钟。我使用HDP2.5与纱线。 我的DAG是: hadoopRdd -> Filter -> map 我想深入到一个特定的任务,并了解为什么它如此缓慢(显示阶段信息)。 我的意思是DAG的哪个部分花费了很多时间,所以我可以调整我的属性。 我在哪里可以找到这些信息(时间表)?我是否应该将log4j设置为打印时间,以便查看时间?我在spark UI上有任何组件可以帮助我吗

我知道这是一个一般性的问题,但我仍然觉得有必要

我有一个火花工作与1个阶段和64个任务。每项任务平均耗时1.5分钟。我使用HDP2.5与纱线。 我的DAG是:

hadoopRdd -> Filter -> map
我想深入到一个特定的任务,并了解为什么它如此缓慢(显示阶段信息)。 我的意思是DAG的哪个部分花费了很多时间,所以我可以调整我的属性。 我在哪里可以找到这些信息(时间表)?我是否应该将log4j设置为打印时间,以便查看时间?我在spark UI上有任何组件可以帮助我吗