是否有可能对Dask操作的执行时间进行估计

是否有可能对Dask操作的执行时间进行估计,dask,Dask,我知道这对于运行代码的环境来说是非常特殊的,但是如果dask在DAG中提前计算其执行计划,有没有办法理解执行需要多长时间 运行执行后,进度条会有很大的帮助,但是否可以事先了解一系列操作需要多长时间?简短回答 没有 解释 Dask调度程序只执行Python函数。它不考虑它们来自何处,也不考虑它们所代表的更广泛的上下文(例如,数据帧连接或矩阵乘法)。从它的角度来看,它刚刚被要求执行一个不透明函数调用图。这种通用性是一个弱点(难以执行高级分析),但也是Dask的主要优势,因为它可以应用于任何特定领域或

我知道这对于运行代码的环境来说是非常特殊的,但是如果dask在DAG中提前计算其执行计划,有没有办法理解执行需要多长时间

运行执行后,进度条会有很大的帮助,但是否可以事先了解一系列操作需要多长时间?

简短回答 没有

解释 Dask调度程序只执行Python函数。它不考虑它们来自何处,也不考虑它们所代表的更广泛的上下文(例如,数据帧连接或矩阵乘法)。从它的角度来看,它刚刚被要求执行一个不透明函数调用图。这种通用性是一个弱点(难以执行高级分析),但也是Dask的主要优势,因为它可以应用于任何特定领域或专业之外的各种问题

分布式调度器保持每个函数持续时间的指数加权平均值,可用于创建任务图的估计值。如果您有兴趣构建此文件,我会在文件中搜索
任务\u持续时间