是否有dask api来获取dask集群中当前的任务数

我遇到了一个问题，如果在短时间内提交了大量任务，dask调度程序将因内存错误而被终止（尽管工作人员仍在运行）

如果可以获得集群上的当前任务数，那么就可以很容易地控制提交到集群的并发任务数

---

注意：任务正在从多个客户端提交到同一个调度程序。

您可以使用该方法在调度程序上运行任意Python函数

用这个你们可以看到你们喜欢的任何一个人

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.tasks)

---

请注意，调度器可以处理数百万个任务。如果您正在接近这一点，那么您可能应该重新考虑如何使用Dask。为了获得最佳性能，您应该选择花费数百毫秒或更长时间的任务。

您可以使用该方法在调度程序上运行任意Python函数

用这个你们可以看到你们喜欢的任何一个人

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.tasks)

---

请注意，调度器可以处理数百万个任务。如果您正在接近这一点，那么您可能应该重新考虑如何使用Dask。为了获得最佳性能，您应该选择需要数百毫秒或更长时间的任务。

感谢MR的回复和您共享的信息。@MR，是否有任何推荐的调度器节点基础结构配置。目前我在56G RAM上运行调度程序，有两个工作节点，每个节点有56G RAM和16个内核。通常调度程序不需要那么多RAM。这是一个单线程进程，在理想情况下，不会处理那么多数据。感谢MR的回复和您共享的信息。@MR，是否有任何推荐的调度器节点基础结构配置。目前我在56G RAM上运行调度程序，有两个工作节点，每个节点有56G RAM和16个内核。通常调度程序不需要那么多RAM。它是一个单线程进程，在理想条件下，不会处理那么多数据。