Dask aysncio龙卷风时间错误

Dask aysncio龙卷风时间错误,dask,dask-distributed,Dask,Dask Distributed,我按计划在纱线集群上运行Dask纱线作业。作业创建延迟Dask任务的列表,并使用以下代码将其提交到集群: from dask_yarn import YarnCluster cluster = YarnCluster() cluster.scale(8) app_id = cluster.application_client.id client = Client(cluster) dask.compute(dask_tasks) cluster.shutdown() client.close(

我按计划在纱线集群上运行Dask纱线作业。作业创建延迟Dask任务的列表,并使用以下代码将其提交到集群:

from dask_yarn import YarnCluster

cluster = YarnCluster()
cluster.scale(8)
app_id = cluster.application_client.id
client = Client(cluster)
dask.compute(dask_tasks)
cluster.shutdown()
client.close()
然后,它使用以下命令记录应用程序工作日志:

yarn logs -applicationId {app_id} -log_files dask.worker.log
打印所有工作日志后,我看到以下错误消息:

End of LogType:dask.worker.log
********************************************************************************

2019/11/28 11:16:24 - asyncio - ERROR - Future exception was never retrieved
future: <Future finished exception=TimeoutError('Timeout')>
tornado.util.TimeoutError: Timeout
日志类型结束:dask.worker.log
********************************************************************************
2019/11/28 11:16:24-异步-错误-从未检索到未来异常
未来:
tornado.util.TimeoutError:超时

此作业按计划运行,上面的错误消息间歇性出现。在每次显示此错误消息时,作业都会成功完成。那么,有人知道这个错误的原因吗?

如果事情没有很好地解决,像这样的日志警告有时会发生。但实际上这并不是什么大问题。如果您的工作成功完成,那么我可能会忽略它


如果你能够提供一个最小的可重复的例子,那么你可以考虑向DASK纱线问题跟踪器提交一个问题。

这样的日志警告有时会发生,如果事情没有完全清理。但实际上这并不是什么大问题。如果您的工作成功完成,那么我可能会忽略它

如果你能提供一个最小的可重复的例子,那么你可以考虑向DASK纱线问题跟踪器提交一个问题。