Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/321.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何更改Kedro中ParallelRunner的进程计数?_Python_Kedro - Fatal编程技术网

Python 如何更改Kedro中ParallelRunner的进程计数?

Python 如何更改Kedro中ParallelRunner的进程计数?,python,kedro,Python,Kedro,我的管道发出很多HTTP请求。这不是一个CPU密集型的操作,我希望旋转的进程比CPU核的数量多。如何更改此设置?ParallelRunner支持max\u workers参数,但目前无法从kedro run cli命令传递该参数。这样做是为了降低CLI的复杂性。 您可以手动添加参数,或者在kedro_cli.py中实例化ParallelRunner时只需硬编码该值。流道部分可能看起来像: runner_class = load_obj(runner, "kedro.runner") if run

我的管道发出很多HTTP请求。这不是一个CPU密集型的操作,我希望旋转的进程比CPU核的数量多。如何更改此设置?

ParallelRunner支持
max\u workers
参数,但目前无法从kedro run cli命令传递该参数。这样做是为了降低CLI的复杂性。 您可以手动添加参数,或者在
kedro_cli.py
中实例化ParallelRunner时只需硬编码该值。流道部分可能看起来像:

runner_class = load_obj(runner, "kedro.runner") if runner else SequentialRunner
runner_params = {'num_workers': 100} if runner is ParallelRunner else {}

context = load_context(Path.cwd(), env=env)
context.run(
    tags=tag,
    runner=runner_class(**runner_params),
    node_names=node_names,
    from_nodes=from_nodes,
    to_nodes=to_nodes,
    from_inputs=from_inputs,
    load_versions=load_version,
    pipeline_name=pipeline,
)