Web scraping Scrapy:解码请求。请参阅爬网历史记录中的代码

Web scraping Scrapy:解码请求。请参阅爬网历史记录中的代码,web-scraping,scrapy,Web Scraping,Scrapy,我有一个Scrapy项目,它将爬行保存在JOBDIR中,以防止爬行已经看到的URL 我的问题与这样一个事实有关:有时由于某种原因,在特定的URL中爬行不好,我需要修复爬行器并再次运行它。当然,我不想重新抓取所有的URL,只想重新抓取导致一些问题的特定URL 我想将请求中的URL本地化。请参见,然后将其删除,但这是不可能的,因为所有URL都已编码 如何将request.seen文件解码为原始URL

我有一个
Scrapy
项目,它将爬行保存在
JOBDIR
中,以防止爬行已经看到的URL

我的问题与这样一个事实有关:有时由于某种原因,在特定的URL中爬行不好,我需要修复爬行器并再次运行它。当然,我不想重新抓取所有的URL,只想重新抓取导致一些问题的特定URL

我想将
请求中的URL本地化。请参见
,然后将其删除,但这是不可能的,因为所有URL都已编码

如何将
request.seen
文件解码为原始URL