Python 如何避免在Luigi中使用多个工作人员同时运行特定任务

Python 如何避免在Luigi中使用多个工作人员同时运行特定任务,python,matplotlib,luigi,Python,Matplotlib,Luigi,我使用Luigi构建数据分析任务,包括使用matplotlib进行绘图 matplotlib plotting的并发运行似乎会导致出现问题,这会导致由于某种原因过早地从任务返回,什么也不做。(看起来这就是matplotlib的问题,尽管我可能错了。) 为了解决这个问题,我希望避免在多个辅助对象中运行其他任务的同时,仅为该绘图任务运行多个辅助对象。我该怎么做呢?你可以用它。在/etc/luigi/client.cfg上配置如下资源: [resources] mathplotlib: 1 然后,通

我使用Luigi构建数据分析任务,包括使用matplotlib进行绘图

matplotlib plotting的并发运行似乎会导致出现问题,这会导致由于某种原因过早地从任务返回,什么也不做。(看起来这就是matplotlib的问题,尽管我可能错了。)

为了解决这个问题,我希望避免在多个辅助对象中运行其他任务的同时,仅为该绘图任务运行多个辅助对象。我该怎么做呢?

你可以用它。在
/etc/luigi/client.cfg
上配置如下资源:

[resources]
mathplotlib: 1
然后,通过以下方式修改任务:

class MyTask(luigi.Task):
    resources = {"mathplotlib": 1}
如果您有运行luigi workers的多台机器,并且您希望所有机器上只有一个worker可以使用给定的资源,那么您可以看一看