Python 如何有条件地运行部分Kedro管道?
我有一个大管道,需要几个小时才能运行。它的一小部分需要经常运行,如何在不触发整个管道的情况下运行它?有多种方法可以指定要运行的管道节点或部分 使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容 在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息: 使用标签。用small之类的东西标记管道的一小部分,然后执行kedro run-标记small。请在此处阅读更多信息:Python 如何有条件地运行部分Kedro管道?,python,pipeline,kedro,Python,Pipeline,Kedro,我有一个大管道,需要几个小时才能运行。它的一小部分需要经常运行,如何在不触发整个管道的情况下运行它?有多种方法可以指定要运行的管道节点或部分 使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容 在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息: 使用标签。用small之类
有多种方法可以指定要运行的管道节点或部分 使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容 在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息: 使用标签。用small之类的东西标记管道的一小部分,然后执行kedro run-标记small。请在此处阅读更多信息:
我建议按照@idanov的建议,从cli正确运行标记或管道设置。从长远来看,转向生产会更容易。我还要补充一点,您可以在python内部进行相当多的特别管道修剪和运行,下面是一些示例
我建议按照@idanov的建议,从cli正确运行标记或管道设置。从长远来看,转向生产会更容易。我还要补充一点,您可以在python内部进行相当多的特别管道修剪和运行,下面是一些示例
+1我们在这类工作中最常使用标签。感谢分享模块化管道链接。这是一个我们尚未真正探索的特性。+1我们在这类工作中最常使用标记。感谢分享模块化管道链接。这是一个我们尚未真正探索的特性。