Java 火花冻结在纱线上

Java 火花冻结在纱线上,java,hadoop,apache-spark,hdfs,Java,Hadoop,Apache Spark,Hdfs,我有一个独立的集群(一个带有Ubuntu 14.04的虚拟机),使用默认配置安装了Apache Spark 1.6和Hadoop 2.6.4。运行此命令时,一切正常: spark submit--class org.broadinstitute.hellbender.Main--master warn--deploy mode client/home/hadoop/spark.jar markduplicatespark--input=/home/hduser/data/example.unma

我有一个独立的集群(一个带有Ubuntu 14.04的虚拟机),使用默认配置安装了Apache Spark 1.6和Hadoop 2.6.4。运行此命令时,一切正常:

spark submit--class org.broadinstitute.hellbender.Main--master warn--deploy mode client/home/hadoop/spark.jar markduplicatespark--input=/home/hduser/data/example.unmarkedDups.bam-M=out\u MarkDuplicatesMetrics.txt--output=out\u MarkDuplicates.bam

然后,我尝试运行此命令,该命令使用HDFS存储中的输入文件:

spark提交——class org.broadinstitute.hellbender.Main——master Thread——部署模式客户机/home/hadoop/spark.jar MarkDuplicatesPark——输入=hdfs://localhost:59000/data/example.unmarkedDups.bam-M=out\u MarkDuplicatesMetrics.txt--output=out\u MarkDuplicates.bam

它冻结在:

scheduler.TaskSetManager:stage 2.0(TID 2)中的任务0.0在本地主机(1/2)上以135毫秒完成。

然后我在Spark中启用了日志级别
ALL
,并再次运行它。我注意到以下信息每分钟都在重复:

跟踪HeartbeatReceiver:检查HeartbeatReceiver中最近没有心跳的主机

我从未停止过,我必须扼杀这个过程

我要怎么做才能解决这个问题