Apache spark 作业的TaskCommitDenied(驱动程序拒绝任务提交):<;工作#>;分区:<;分区#>;,尝试编号:<;尝试#>;

Apache spark 作业的TaskCommitDenied(驱动程序拒绝任务提交):<;工作#>;分区:<;分区#>;,尝试编号:<;尝试#>;,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我们的一个spark正在循环中连续运行(永不结束),并显示“TaskCommitDenied(驱动程序拒绝任务提交)for job:1985,partition:886,attemptNumber:7213”错误消息。这是发生在两个工作(我发现它在斯巴库伊)。我注意到“尝试次数”非常高 请查找下面包含确切错误的日志的屏幕截图 日志文件屏幕截图出现错误: 我假设驱动程序在executor上异步终止了Fileoutputwriter,但executor仍在尝试完成在hdfs上写入文件的任务。这是怎

我们的一个spark正在循环中连续运行(永不结束),并显示“TaskCommitDenied(驱动程序拒绝任务提交)for job:1985,partition:886,attemptNumber:7213”错误消息。这是发生在两个工作(我发现它在斯巴库伊)。我注意到“尝试次数”非常高

请查找下面包含确切错误的日志的屏幕截图

日志文件屏幕截图出现错误:


我假设驱动程序在executor上异步终止了Fileoutputwriter,但executor仍在尝试完成在hdfs上写入文件的任务。这是怎么回事?如果是,有什么建议的解决方案吗

一些有用的信息:在执行器数量、执行器内核、内存等方面,您是如何运行作业的,。。。。?集群是如何设置的?您是否在其他作业运行时执行了该作业?