如何从php并行执行scrapy？

我在一个数组中有90个URL

[url1,url2,url3,  ... , url90]

我想让3个蜘蛛同时工作，并向每个蜘蛛传递1个url，因此，我的第一个Scrapy实例得到url1，第二个得到url2，第三个得到url3，当第一个完成工作时，他将得到url4

我用过，但如果有其他更好的软件，我会用它

我在php中尝试了这个，因为我应该从php启动我的scrapy

exec (for url in urlsTab | parallel -j 3 scrapy crawl mySpider -a url {}) 

---

您可能想要这样的东西（未经测试）：

$parallel = popen("parallel -j 3 scrapy crawl mySpider","w");
foreach($urlsTab as $url) {
    fwrite($parallel,$url+"\n");
}
close $parallel;