Web services 如何开始使用Scrapy Web服务?
我已经用了很长时间了,我必须说我爱上了它。最近,我知道了。但我不知道它是如何工作的。或者我如何使用它来监视我当前的爬行器 正在寻找文档或入门指南。因此,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了 简而言之,它使用远程调用协议来响应HTTP请求 在scrapy项目中启动Web services 如何开始使用Scrapy Web服务?,web-services,scrapy,Web Services,Scrapy,我已经用了很长时间了,我必须说我爱上了它。最近,我知道了。但我不知道它是如何工作的。或者我如何使用它来监视我当前的爬行器 正在寻找文档或入门指南。因此,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了 简而言之,它使用远程调用协议来响应HTTP请求 在scrapy项目中启动scrapy shell后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面: {"resources": ["enginestatus", "stats", "crawler
scrapy shell
后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面:
{"resources": ["enginestatus", "stats", "crawler"]}
从这一点开始,您将进一步了解,以构造正确的调用--下面是一个使用请求的示例
:
>>> import requests, json
>>> jsonrpc_call = {'jsonrpc': '2.0', 'method': 'list', 'params': [], 'id': 1}
>>> resource = 'http://localhost:6080/crawler/spiders'
>>> requests.post(resource, data=json.dumps(jsonrpc_call)).json()
{u'id': 1, u'jsonrpc': u'2.0', u'result': [u'spider1', u'spider2']}
重要提示:您应该知道,此JSON RPC服务已从Scrapy中提取出来,用于下一版本,现在作为一个单独的项目使用:。因此,升级到Scrapy 1.0时要做好准备 所以,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了
简而言之,它使用远程调用协议来响应HTTP请求
在scrapy项目中启动scrapy shell
后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面:
{"resources": ["enginestatus", "stats", "crawler"]}
从这一点开始,您将进一步了解,以构造正确的调用--下面是一个使用请求的示例
:
>>> import requests, json
>>> jsonrpc_call = {'jsonrpc': '2.0', 'method': 'list', 'params': [], 'id': 1}
>>> resource = 'http://localhost:6080/crawler/spiders'
>>> requests.post(resource, data=json.dumps(jsonrpc_call)).json()
{u'id': 1, u'jsonrpc': u'2.0', u'result': [u'spider1', u'spider2']}
重要提示:您应该知道,此JSON RPC服务已从Scrapy中提取出来,用于下一版本,现在作为一个单独的项目使用:。因此,升级到Scrapy 1.0时要做好准备 您可以简化和改进上面的示例,以便更方便地使用
请求
库-请求.post(resource,json=jsonrpc\u call).json()
。查看更多!您可以简化和改进上面的示例,以便更方便地使用请求
库-请求.post(resource,json=jsonrpc\u call).json()
。查看更多!