Web scraping spider中的Scrapy旋转用户代理
我在spider中添加了一个函数,该函数将从txt文件生成一个随机用户代理。现在,我从start_requests函数调用了这个函数:Web scraping spider中的Scrapy旋转用户代理,web-scraping,random,scrapy,user-agent,Web Scraping,Random,Scrapy,User Agent,我在spider中添加了一个函数,该函数将从txt文件生成一个随机用户代理。现在,我从start_requests函数调用了这个函数: def start_requests(self): url = 'someurl' head = self.loadUserAgents() headers = { 'Accept-Encoding': 'gzip, deflate, br',
def start_requests(self):
url = 'someurl'
head = self.loadUserAgents()
headers = {
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'en-US,en;q=0.5',
'User-Agent': head
}
yield scrapy.http.Request(url,headers=headers)
我使用了一个解析函数,可以跟随下一页。我认为通过这种方式,spider只会生成一次随机用户代理。如何强制爬行器在下面的每个页面上生成新的用户代理
谢谢。首先安装,然后尝试headers={“User-Agent”:ua.random}
whereua=UserAgent()
。这个答案有用吗:?