Configuration 错误YanClientSchedulerBackend:请求删除不存在的执行器21
当我第一次跑步的时候Configuration 错误YanClientSchedulerBackend:请求删除不存在的执行器21,configuration,apache-spark,Configuration,Apache Spark,当我第一次跑步的时候 lines = sc.textFile(os.path.join(folder_name),100) 然后 parsed_lines=lines.map(lambda line: parse_line(line, ["udid"])).persist(StorageLevel.MEMORY_AND_DISK).groupByKey(1000).take(10) 我得到以下错误: ... ERROR YarnClientSchedulerBackend: Asked to
lines = sc.textFile(os.path.join(folder_name),100)
然后
parsed_lines=lines.map(lambda line: parse_line(line, ["udid"])).persist(StorageLevel.MEMORY_AND_DISK).groupByKey(1000).take(10)
我得到以下错误:
...
ERROR YarnClientSchedulerBackend: Asked to remove non-existent executor 21
...
WARN TaskSetManager: Lost task 0.1 in stage 11.7 (TID 1151, <machine name>): FetchFailed(null, shuffleId=0, mapId=-1, reduceId=896, message=
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0
我不知道如何根据工人的能力、输入大小和我将应用的转换来决定这些参数。我收到了相同的错误。通过减少spark-defaults.conf中请求的执行者数量,我解决了这个问题 说它原来是:
spark.executor.instances 7
我把它改成:
spark.executor.instances 4
我没有更改任何其他内容,并且能够避免错误。您解决过您的问题吗?
spark.executor.instances 4