Python 如何在Luigi中创建非持久化任务?

Python 如何在Luigi中创建非持久化任务?,python,luigi,Python,Luigi,作为Luigi管道的一部分,我们希望通知等待使用POST请求计算数据的微服务 到目前为止,我们一直在使用RunAnywayTarget,但如果启动Luigi的速度超过数据更改的速度,则会出现问题。所以我的问题是, 创建一个任务的最佳模式是什么?该任务在管道中执行某些操作,但不创建任何数据,例如向REST服务发出POST请求、向Kafka发送消息等等 我知道我可以创建一个没有输出的任务来执行run方法中的请求,但是如果由于某种原因,最终服务在第一次运行期间失败,那么该NotificationTas

作为Luigi管道的一部分,我们希望通知等待使用POST请求计算数据的微服务

到目前为止,我们一直在使用
RunAnywayTarget
,但如果启动Luigi的速度超过数据更改的速度,则会出现问题。所以我的问题是,

创建一个任务的最佳模式是什么?该任务在管道中执行某些操作,但不创建任何数据,例如向REST服务发出POST请求、向Kafka发送消息等等


我知道我可以创建一个没有输出的任务来执行run方法中的请求,但是如果由于某种原因,最终服务在第一次运行期间失败,那么该NotificationTask应该如何重新运行?依赖项将在那里,并且不会再次运行。

我将继续为任务创建一个唯一的输出,即使该输出没有在您的进一步处理中使用。它只是一个标记,表明具有特定输入集的任务已成功完成。你可以做一个简单的FileTarget,一个PostgresTarget等等