Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web services 如何开始使用Scrapy Web服务?_Web Services_Scrapy - Fatal编程技术网

Web services 如何开始使用Scrapy Web服务?

Web services 如何开始使用Scrapy Web服务?,web-services,scrapy,Web Services,Scrapy,我已经用了很长时间了,我必须说我爱上了它。最近,我知道了。但我不知道它是如何工作的。或者我如何使用它来监视我当前的爬行器 正在寻找文档或入门指南。因此,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了 简而言之,它使用远程调用协议来响应HTTP请求 在scrapy项目中启动scrapy shell后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面: {"resources": ["enginestatus", "stats", "crawler

我已经用了很长时间了,我必须说我爱上了它。最近,我知道了。但我不知道它是如何工作的。或者我如何使用它来监视我当前的爬行器

正在寻找文档或入门指南。

因此,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了

简而言之,它使用远程调用协议来响应HTTP请求

在scrapy项目中启动
scrapy shell
后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面:

{"resources": ["enginestatus", "stats", "crawler"]}
从这一点开始,您将进一步了解,以构造正确的调用--下面是一个使用
请求的示例

>>> import requests, json
>>> jsonrpc_call = {'jsonrpc': '2.0', 'method': 'list', 'params': [], 'id': 1}
>>> resource = 'http://localhost:6080/crawler/spiders'
>>> requests.post(resource, data=json.dumps(jsonrpc_call)).json()
{u'id': 1, u'jsonrpc': u'2.0', u'result': [u'spider1', u'spider2']}
重要提示:您应该知道,此JSON RPC服务已从Scrapy中提取出来,用于下一版本,现在作为一个单独的项目使用:。因此,升级到Scrapy 1.0时要做好准备

所以,这是最接近指南的东西。它没有太多的牵手功能,但应该足以让你行动起来——它甚至还附带了

简而言之,它使用远程调用协议来响应HTTP请求

在scrapy项目中启动
scrapy shell
后,您可以试用它,将浏览器指向:。您应该看到一个显示可用资源的页面:

{"resources": ["enginestatus", "stats", "crawler"]}
从这一点开始,您将进一步了解,以构造正确的调用--下面是一个使用
请求的示例

>>> import requests, json
>>> jsonrpc_call = {'jsonrpc': '2.0', 'method': 'list', 'params': [], 'id': 1}
>>> resource = 'http://localhost:6080/crawler/spiders'
>>> requests.post(resource, data=json.dumps(jsonrpc_call)).json()
{u'id': 1, u'jsonrpc': u'2.0', u'result': [u'spider1', u'spider2']}

重要提示:您应该知道,此JSON RPC服务已从Scrapy中提取出来,用于下一版本,现在作为一个单独的项目使用:。因此,升级到Scrapy 1.0时要做好准备

您可以简化和改进上面的示例,以便更方便地使用
请求
库-
请求.post(resource,json=jsonrpc\u call).json()
。查看更多!您可以简化和改进上面的示例,以便更方便地使用
请求
库-
请求.post(resource,json=jsonrpc\u call).json()
。查看更多!