Python 通过Web服务访问Scrapy

我已经在SO和网络上进行了搜索，但没有找到解决问题的方法；所以我想在这里提出一个问题

我目前正在玩Scrapy，并且正在成功地从我的目标网站检索我需要的数据

创建spider是一个更大项目的一部分，因此我需要找到一种方法，将spider的结果输入到我的网站中

我不想使用spider访问数据库，因为在存储数据之前，需要对数据应用各种逻辑，我不想在其他地方重复这种逻辑

我想的可能是一个Web服务，它接收一个JSON对象作为请求；并返回一个JSON对象和结果

我对Web设置中的Scrapy和Python相当陌生，但我已经阅读了Scrapy文档。虽然有一个为Scrapy提供的Web服务，但这似乎更多地是为了监视蜘蛛；不返回结果

任何帮助和想法都将不胜感激

---

谢谢，

我不确定您为什么要寻找web服务的Scrapy实现，难道您不能使用python中的

json

和

urllib2

模块手动使用结果来实现吗？我想利用Scrapy所做的工作，轻松使用web服务调用它。我的网站是用PHP编写的。已经有

scrapyd

它是一个用于调度爬虫的web应用程序。您可以调用它（使用

curl

）将结果保存在文件中，然后您可以使用应用程序访问结果。您认为这会比通过web服务访问结果好吗？我认为使用

scrapyd

（它专为此类作业、启动和日志爬行器而设计）是个好主意，但我不确定。你可以在网上提问，然后把答案贴在这里。