Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/image/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
抓取法国网站并获取Unicodeer错误_Unicode_Scrapy_Special Characters_Scrapy Spider - Fatal编程技术网

抓取法国网站并获取Unicodeer错误

抓取法国网站并获取Unicodeer错误,unicode,scrapy,special-characters,scrapy-spider,Unicode,Scrapy,Special Characters,Scrapy Spider,我正在抓取一个网站并从该网站的链接中获取信息,然而,许多链接包含口音/法语字符。我无法获得这些网页的链接,因此无法刮它们 这是从起始页获取URL的代码部分 def Parself,响应: 子URL=[] partialURLs=response.css'.directory\u name::attrref'.extract 对于第i部分: 屈服响应。跟随'https://wheelsonline.ca/“+stri,self.parse_经销商不要使用str转换该值。请在此处阅读更多信息: 但

我正在抓取一个网站并从该网站的链接中获取信息,然而,许多链接包含口音/法语字符。我无法获得这些网页的链接,因此无法刮它们

这是从起始页获取URL的代码部分

def Parself,响应: 子URL=[] partialURLs=response.css'.directory\u name::attrref'.extract 对于第i部分: 屈服响应。跟随'https://wheelsonline.ca/“+stri,self.parse_经销商不要使用str转换该值。请在此处阅读更多信息:

但是,有一种更好的方法可以使用Scrapy的内置功能创建URL:


这将根据当前URL加上相对路径自动创建完整URL。

谢谢你,艾伯特,这非常有用!!
yield response.follow(response.urljoin(i), self.parse_dealers)