Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/iphone/36.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 如何在具有多处理的解析函数上划分产量?_Python 3.x_Multiprocessing - Fatal编程技术网

Python 3.x 如何在具有多处理的解析函数上划分产量?

Python 3.x 如何在具有多处理的解析函数上划分产量?,python-3.x,multiprocessing,Python 3.x,Multiprocessing,我想从列表中划分请求 first_list = ["https://www.url1.com", "https://www.url2.com"] second_list = ["https://www.url3.com", "https://www.url4.com"] third_list = ["https://www.url5.com", "https://www.url6.com

我想从列表中划分请求

first_list = ["https://www.url1.com", "https://www.url2.com"]
second_list = ["https://www.url3.com", "https://www.url4.com"]
third_list = ["https://www.url5.com", "https://www.url6.com"]

for url in first_list:
    yield Request(url=url, callback=self.my_function)

for url in second_list:
    yield Request(url=url, callback=self.my_function)

for url in third_list:
    yield Request(url=url, callback=self.my_function)
将每个列表放入进程中

例如:

在处理第一个_列表中的第一个url时,也要处理第二个_列表和第三个_列表中的第一个url(同时)。等等


注意:这是不是刮屑。这是一只定制的蜘蛛。它看起来像刮痕,但不是。

你想像那样把东西一分为二吗?i、 e.三个进程,每个进程恰好执行两个URL<代码>映射在
多处理中。池
可以安排在哪个进程中运行哪些任务,如果可以使用it@SamMason-是的,我知道。但如何做到这一点呢?我试过一些方法,但没有成功。我最后一次尝试是这样的:!。怎么做什么?请编辑问题以包含相关详细信息,不要将代码作为图像发布,尤其是非现场图像