Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 Scrapy:Windows7中的爬行器错误处理_Python 2.7_Scrapy_Scrapy Spider - Fatal编程技术网

Python 2.7 Scrapy:Windows7中的爬行器错误处理

Python 2.7 Scrapy:Windows7中的爬行器错误处理,python-2.7,scrapy,scrapy-spider,Python 2.7,Scrapy,Scrapy Spider,我正在尝试构建一个爬行器,这样我可以从其他网站抓取和刮取内容。我在scrapy上做了一个示例,一切都很好,但是当实现我自己的代码时,我无法让它工作。我不断得到以下错误: 2016-02-02 17:57:15 [scrapy] DEBUG: Crawled (200) <GET http://www.andina.com.pe/agencia/seccion-clic-35.aspx/> (referer: None) 2016-02-02 17:57:15 [scrapy] ERR

我正在尝试构建一个爬行器,这样我可以从其他网站抓取和刮取内容。我在scrapy上做了一个示例,一切都很好,但是当实现我自己的代码时,我无法让它工作。我不断得到以下错误:

2016-02-02 17:57:15 [scrapy] DEBUG: Crawled (200) <GET http://www.andina.com.pe/agencia/seccion-clic-35.aspx/> (referer: None)
2016-02-02 17:57:15 [scrapy] ERROR: Spider error processing <GET http://www.andina.com.pe/agencia/seccion-clic-35.aspx/> (referer: None)
Traceback (most recent call last):
  File "c:\python27\lib\site-packages\scrapy\utils\defer.py", line 102, in iter_errback
    yield next(it)
  File "c:\python27\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 28, in process_spider_output
   for x in result:
  File "c:\python27\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 22, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "c:\python27\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "c:\python27\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 54, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "C:\Users\iaguilar\Desktop\scrap\andina\andinanews\andinanews\spiders\andina_spider.py", line 15, in parse yield scrapy.Requests(url, callback=self.parse_dir_contents)
AttributeError: 'module' object has no attribute 'Requests'
2016-02-02 17:57:15 [scrapy] INFO: Closing spider (finished)
2016-02-02 17:57:15 [scrapy] INFO: Dumping Scrapy stats:
    {'downloader/request_bytes': 244,
     'downloader/request_count': 1,
     'downloader/request_method_count/GET': 1,
     'downloader/response_bytes': 247210,
     'downloader/response_count': 1,
     'downloader/response_status_count/200': 1,
     'finish_reason': 'finished',
     'finish_time': datetime.datetime(2016, 2, 2, 22, 57, 15, 929000),
     'log_count/DEBUG': 2,
     'log_count/ERROR': 1,
     'log_count/INFO': 7,
     'response_received_count': 1,
     'scheduler/dequeued': 1,
     'scheduler/dequeued/memory': 1,
     'scheduler/enqueued': 1,
     'scheduler/enqueued/memory': 1,
     'spider_exceptions/AttributeError': 1,
     'start_time': datetime.datetime(2016, 2, 2, 22, 57, 10, 504000)}
2016-02-02 17:57:15 [scrapy] INFO: Spider closed (finished)

我整个下午都在做这个,找不到错误是什么。我对Python也很陌生。如果你能给我指出正确的方向,那就太好了

模块
scrapy
没有
请求
。正如paul trmbrth在他的评论中提到的:无论如何都是单数的,并且位于
scrapy.http
模块中

我大部分时间都在用

from scrapy.http import Request
所以你可以

yield Request(url, callback=self.parse_dir_contents)

每次都不写整个模块名。

模块
scrapy
没有
请求。正如paul trmbrth在他的评论中提到的:无论如何都是单数的,并且位于
scrapy.http
模块中

我大部分时间都在用

from scrapy.http import Request
所以你可以

yield Request(url, callback=self.parse_dir_contents)

没有每次都写入整个模块名。

在您当前的工作目录中,您是否碰巧有一个名为
scrapy.py
的文件?如果是这样,您需要重命名它并删除
scrapy.pyc
@bernie nope:(我有scrapy.cfg思想使用
scrapy.Request
(单数)而不是
scrapy.Requests
(复数)在您当前的工作目录中,您是否碰巧有一个名为
scrapy.py
的文件?如果是这样,您需要将其重命名并删除
scrapy.pyc
@bernie nope:(我有scrapy.cfg thoughuuse
scrapy.Request
(单数)而不是
scrapy.Requests
(复数)实际上,在Scrapy 1.0中,您可以使用
Scrapy.Request
快捷方式。实际上,在Scrapy 1.0中,您可以使用
Scrapy.Request
快捷方式