scrapy python中的ssl握手失败错误
目前我正在处理scrapy,下面是我的spider.py代码scrapy python中的ssl握手失败错误,python,url,response,scrapy,Python,Url,Response,Scrapy,目前我正在处理scrapy,下面是我的spider.py代码 class Example(BaseSpider): name = "example" allowed_domains = {"http://www.example.com"} start_urls = [ "https://www.example.com/rwjhamilton/index.cfm?&ijobcatid=100&ijobrowset=1&cjobat
class Example(BaseSpider):
name = "example"
allowed_domains = {"http://www.example.com"}
start_urls = [
"https://www.example.com/rwjhamilton/index.cfm?&ijobcatid=100&ijobrowset=1&cjobattr1=All&template=dsp_job_list.cfm"
]
def parse(self, response):
hxs = HtmlXPathSelector(response)
href_tags = hxs.select('//font[@class="bannertext"]/u/a/@href').extract()
print href_tags,">>>>>>>>>>>>>>>>"
结果:
2012-07-19 17:32:20+0530 [example] ERROR: Error downloading <GET https://www.example.com/rwjhamilton/index.cfm?&ijobcatid=100&ijobrowset=1&cjobattr1=All&template=dsp_job_list.cfm>: [('SSL routines', 'SSL23_READ', 'ssl handshake failure')]
2012-07-19 17:32:20+0530[示例]错误:下载错误:[(“SSL例程”、“SSL23读取”、“SSL握手失败”)]
这个错误对scrapy来说是非常新的,我真的不知道如何解决这个问题,有人能告诉我为什么会出现这个错误以及如何解决它吗。
实际上,我正试图收集上述url中的href标签,似乎总共有40个href标签
有时响应正在下载,有时响应正在显示
2012-07-19 17:39:15+0530 [example] DEBUG: Retrying <GET https://www.example.com/rwjhamilton/index.cfm?&ijobcatid=100&ijobrowset=1&cjobattr1=All&template=dsp_job_list.cfm> (failed 1 times): Connection to the other side was lost in a non-clean fashion
2012-07-19 17:39:15+0530[示例]调试:重试(失败1次):与另一端的连接以非干净方式丢失
请让我知道如何解决这个问题。
提前感谢….我想这个问题已经在这里解决了 在
0.15
scrapy发布后它已被修复我也遇到了这个错误:
2013-03-07 06:58:01+0800 [CrawlSpider] ERROR: Error downloading <GET a_website_url>: Connection to the other side was lost in a non-clean fashion.
2013-03-07 06:58:01+0800[CrawlSpider]错误:下载错误:与另一端的连接以非干净方式丢失。
我的scrapy版本是0.16.3。原因是它是我国的一个受限网站