抓取法国网站并获取Unicodeer错误
我正在抓取一个网站并从该网站的链接中获取信息,然而,许多链接包含口音/法语字符。我无法获得这些网页的链接,因此无法刮它们 这是从起始页获取URL的代码部分 def Parself,响应: 子URL=[] partialURLs=response.css'.directory\u name::attrref'.extract 对于第i部分: 屈服响应。跟随'https://wheelsonline.ca/“+stri,self.parse_经销商不要使用str转换该值。请在此处阅读更多信息: 但是,有一种更好的方法可以使用Scrapy的内置功能创建URL:抓取法国网站并获取Unicodeer错误,unicode,scrapy,special-characters,scrapy-spider,Unicode,Scrapy,Special Characters,Scrapy Spider,我正在抓取一个网站并从该网站的链接中获取信息,然而,许多链接包含口音/法语字符。我无法获得这些网页的链接,因此无法刮它们 这是从起始页获取URL的代码部分 def Parself,响应: 子URL=[] partialURLs=response.css'.directory\u name::attrref'.extract 对于第i部分: 屈服响应。跟随'https://wheelsonline.ca/“+stri,self.parse_经销商不要使用str转换该值。请在此处阅读更多信息: 但
这将根据当前URL加上相对路径自动创建完整URL。谢谢你,艾伯特,这非常有用!!
yield response.follow(response.urljoin(i), self.parse_dealers)