Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/357.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/sharepoint/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何有条件地运行部分Kedro管道?_Python_Pipeline_Kedro - Fatal编程技术网

Python 如何有条件地运行部分Kedro管道?

Python 如何有条件地运行部分Kedro管道?,python,pipeline,kedro,Python,Pipeline,Kedro,我有一个大管道,需要几个小时才能运行。它的一小部分需要经常运行,如何在不触发整个管道的情况下运行它?有多种方法可以指定要运行的管道节点或部分 使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容 在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息: 使用标签。用small之类

我有一个大管道,需要几个小时才能运行。它的一小部分需要经常运行,如何在不触发整个管道的情况下运行它?

有多种方法可以指定要运行的管道节点或部分

使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容

在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息:

使用标签。用small之类的东西标记管道的一小部分,然后执行kedro run-标记small。请在此处阅读更多信息:


有多种方法可以指定要运行的管道节点或部分

使用kedro运行参数,如-to nodes/-from nodes/-node,明确定义需要运行的内容

在kedro>=0.15.2中,可以定义多个管道,然后使用kedro run-pipeline仅运行其中一个管道。如果未指定-pipeline参数,则运行默认管道。默认管道可以组合其他几个管道。有关使用模块化管道的更多信息:

使用标签。用small之类的东西标记管道的一小部分,然后执行kedro run-标记small。请在此处阅读更多信息:


我建议按照@idanov的建议,从cli正确运行标记或管道设置。从长远来看,转向生产会更容易。我还要补充一点,您可以在python内部进行相当多的特别管道修剪和运行,下面是一些示例


我建议按照@idanov的建议,从cli正确运行标记或管道设置。从长远来看,转向生产会更容易。我还要补充一点,您可以在python内部进行相当多的特别管道修剪和运行,下面是一些示例


+1我们在这类工作中最常使用标签。感谢分享模块化管道链接。这是一个我们尚未真正探索的特性。+1我们在这类工作中最常使用标记。感谢分享模块化管道链接。这是一个我们尚未真正探索的特性。