Apache spark spark-ec2偶发错误-初始作业未接受任何资源
在EC2上运行Apache Spark时偶尔会出现以下错误:Apache spark spark-ec2偶发错误-初始作业未接受任何资源,apache-spark,Apache Spark,在EC2上运行Apache Spark时偶尔会出现以下错误: WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 它是随机发生的,唯一的修复方法是关闭集群并重新启动所有程序。显然,这是低效的。为什么这个错误会随机发生?我
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
它是随机发生的,唯一的修复方法是关闭集群并重新启动所有程序。显然,这是低效的。为什么这个错误会随机发生?我可以在控制台中看到我的所有实例都非常好。我正在尝试使用6MB的文件。不可能是内存不足。每次我尝试在ApacheSparkEC2上做一些事情时,似乎都会出现一些随机错误。最近的错误发生在我运行一个我以前运行过5000多次的程序时。在同一群集类型上。为什么会有这么多零星的错误?考虑到我的实例和师父都工作得很好,这一点又意味着什么呢