我是否正确使用scrapy redis来抓取大量URL？

我对分布式scrapy爬行的世界还不熟悉，但我发现了scrapy redis并一直在使用它。我在raspberry pi上使用它来抓取大量推送到redis的URL。我一直在做的是在Pi中创建多个SSH会话，然后在Pi中运行

scrapy crawl myspider

让蜘蛛“等待”。然后启动另一个SSH并执行redis cli lpush“我的链接”。爬虫然后运行，尽管我不确定它们实际运行的并发性如何

我希望这是明确的，如果没有请让我知道，我可以澄清。我真的只是在实现了scrapy redis的这个赤裸裸的版本之后寻找一个“下一步”

---

编辑：我从这个答案出发。回答者说他使用scrapy redis创建了64个spider。

创建多个SSH会话有什么意义？并发性？ 如果这就是答案的话，我相信scrapy本身可以同时处理所有的URL，并且您希望它们能够提供关于爬网过程的准确反馈

在这种情况下，您将只需要1只刮毛蜘蛛

---

另一方面，如果要使用多个实例，我建议您看看frontera（）

我知道并发功能，我想我只是不确定scrapy redis有什么价值。您是否需要多台机器（ip地址）才能使其有价值？我将调查frontera。