如何跟踪提交的dask作业?

如何跟踪提交的dask作业?,dask,Dask,用例:当我的API服务接收到HTTP请求时,它将转换为延迟作业并将其提交给dask调度程序,但不想阻止它,从而占用服务器上的线程/进程。它还希望获得工作进展的最新信息。我是在集群环境中这样做的,因此有多个API服务容器 接近 使用client.compute()。但是,这会造成阻塞,尤其是对于长时间运行的作业而言,这是一个问题 用于获取未来并查询未来,如中所述。在该特定线程中,建议使用字典来跟踪返回的未来对象。但是,由于dict是容器的本地对象,因此无法扩展到集群环境 有什么建议吗

用例:当我的API服务接收到HTTP请求时,它将转换为延迟作业并将其提交给dask调度程序,但不想阻止它,从而占用服务器上的线程/进程。它还希望获得工作进展的最新信息。我是在集群环境中这样做的,因此有多个API服务容器

接近

  • 使用
    client.compute()
    。但是,这会造成阻塞,尤其是对于长时间运行的作业而言,这是一个问题
  • 用于获取未来并查询未来,如中所述。在该特定线程中,建议使用字典来跟踪返回的未来对象。但是,由于dict是容器的本地对象,因此无法扩展到集群环境
  • 有什么建议吗