Python 如何决定是在脚本中实现scrapy还是将其用作框架

Python 如何决定是在脚本中实现scrapy还是将其用作框架,python,scrapy,Python,Scrapy,我正在创建一个网页,根据另外三个网页(总共60个)中的大约20个数字进行两个简单的操作(平均值和百分比计算)。我使用Scrapy的目的是得到这20个数字,它将运行多次,如果运行良好,同时使用不同的变量 问题是,我是否应该在一个脚本(CrawlerProcess)中实现Scrapy功能,从初始化变量的另一个脚本调用它,而不是使用整个框架来获取少量数据?在这两种情况下,您仍然使用整个框架。将其作为子流程调用,而不是将其作为代码的一部分,可能会避免ReactorNotRestartable问题。您不需

我正在创建一个网页,根据另外三个网页(总共60个)中的大约20个数字进行两个简单的操作(平均值和百分比计算)。我使用Scrapy的目的是得到这20个数字,它将运行多次,如果运行良好,同时使用不同的变量


问题是,我是否应该在一个脚本(CrawlerProcess)中实现Scrapy功能,从初始化变量的另一个脚本调用它,而不是使用整个框架来获取少量数据?

在这两种情况下,您仍然使用整个框架。将其作为子流程调用,而不是将其作为代码的一部分,可能会避免
ReactorNotRestartable
问题。您不需要调用脚本,而是向ScrapyRT服务器发出API请求,该服务器将获取数据并以json格式返回。