Python 3.x 有没有办法让两个以上的蜘蛛在一个项目中使用Scrapy爬行不同的网站？

我有大约10个网站需要从中获取一些数据。我正在使用Scrapy，我需要知道我是否必须在一个项目中创建10个单独的项目（每个网站一个）或10个爬行器？

理论上两者都是可能的，您可以在一个项目中创建多个爬行器或设置多个项目。然而，对于10个网站，您需要不同管道、中间件设置等的可能性非常高。出于这个原因，我通常会建议使用多个项目。另外，您的items.py可能会随着多个spider而变得非常大，因此您可能会失去跟踪。

如果您可以在spider（项目基类、中间件等）之间共享任何代码，我会选择单个项目

如果您有特定于spider的项目、管道或中间件，则始终可以在spider Python文件本身上定义这些项目、管道或中间件