适用于dask行李的操作变更单

适用于dask行李的操作变更单,dask,Dask,我正在使用一个dask包来处理从一组实验中收集的痕迹数据处理的并行化。每次实验的数据文件路径都会转换为自定义对象,我对此类数据执行的常见操作是对象方法 每个物体都有一个与特定实验相关的识别号。在程序中的某个时刻,我想用这个ID号来删除一些实验。在这个任务图中,从一个序列创建一个对象,然后应用去趋势化和反褶积函数,然后执行删除操作 因为实验标识号是静态的,所以可以在任务图中的任何步骤执行删除操作,最终结果将是相同的。但是,如果按照其他计算成本高昂的方法执行删除操作,则结果会慢得多,因为这些计算是

我正在使用一个dask包来处理从一组实验中收集的痕迹数据处理的并行化。每次实验的数据文件路径都会转换为自定义对象,我对此类数据执行的常见操作是对象方法

每个物体都有一个与特定实验相关的识别号。在程序中的某个时刻,我想用这个ID号来删除一些实验。在这个任务图中,从一个序列创建一个对象,然后应用去趋势化和反褶积函数,然后执行删除操作

因为实验标识号是静态的,所以可以在任务图中的任何步骤执行删除操作,最终结果将是相同的。但是,如果按照其他计算成本高昂的方法执行删除操作,则结果会慢得多,因为这些计算是在最终将被删除的对象上不必要地执行的


有没有办法在包的任务图中的较早点插入操作,以便如果有人在任何点添加删除操作,它将是执行的第一个操作?

您可能希望查看dask DELATED,这可能会给您带来更多的灵活性,而不是使用dask bag:

如果您真的想直接使用任务图,那么您应该阅读关于图规范的内容


可能:A.将id存储为包中的某个内容,根据id有选择地添加任务。或B.只计算您想要的任务,而不是您添加到dask图中的每个任务。谢谢。我有一个与达斯克合作的解决方案。