Python 我们可以限制luigi任务的吞吐量吗?

Python 我们可以限制luigi任务的吞吐量吗?,python,spotify,luigi,Python,Spotify,Luigi,我们有一个Luigi任务,它向第三方服务请求一条信息。我们对每分钟可以对该API调用执行的调用请求数量有限 有没有办法在每个任务的基础上指定调度器每单位时间必须运行多少此类任务?我们在任务中实施了自己的速率限制。我们的API限制足够低,我们可以用一个线程使它饱和。当我们收到速率限制响应时,我们只是后退并重试 您可以做的一件事是将API调用声明为。您可以设置配置中有多少资源可用,然后设置任务作为配置使用多少资源。这将限制您一次运行该任务的n个 在配置中: [resources] api=1 在任

我们有一个Luigi任务,它向第三方服务请求一条信息。我们对每分钟可以对该API调用执行的调用请求数量有限


有没有办法在每个任务的基础上指定调度器每单位时间必须运行多少此类任务?

我们在任务中实施了自己的速率限制。我们的API限制足够低,我们可以用一个线程使它饱和。当我们收到速率限制响应时,我们只是后退并重试

您可以做的一件事是将API调用声明为。您可以设置配置中有多少资源可用,然后设置任务作为配置使用多少资源。这将限制您一次运行该任务的n个

在配置中:

[resources]
api=1
在任务代码中:

resources = {"api": 1}