如何跟踪提交的dask作业?
用例:当我的API服务接收到HTTP请求时,它将转换为延迟作业并将其提交给dask调度程序,但不想阻止它,从而占用服务器上的线程/进程。它还希望获得工作进展的最新信息。我是在集群环境中这样做的,因此有多个API服务容器 接近如何跟踪提交的dask作业?,dask,Dask,用例:当我的API服务接收到HTTP请求时,它将转换为延迟作业并将其提交给dask调度程序,但不想阻止它,从而占用服务器上的线程/进程。它还希望获得工作进展的最新信息。我是在集群环境中这样做的,因此有多个API服务容器 接近 使用client.compute()。但是,这会造成阻塞,尤其是对于长时间运行的作业而言,这是一个问题 用于获取未来并查询未来,如中所述。在该特定线程中,建议使用字典来跟踪返回的未来对象。但是,由于dict是容器的本地对象,因此无法扩展到集群环境 有什么建议吗
client.compute()
。但是,这会造成阻塞,尤其是对于长时间运行的作业而言,这是一个问题