Web scraping spider中的Scrapy旋转用户代理

Web scraping spider中的Scrapy旋转用户代理,web-scraping,random,scrapy,user-agent,Web Scraping,Random,Scrapy,User Agent,我在spider中添加了一个函数,该函数将从txt文件生成一个随机用户代理。现在,我从start_requests函数调用了这个函数: def start_requests(self): url = 'someurl' head = self.loadUserAgents() headers = { 'Accept-Encoding': 'gzip, deflate, br',

我在spider中添加了一个函数,该函数将从txt文件生成一个随机用户代理。现在,我从start_requests函数调用了这个函数:

def start_requests(self):

        url = 'someurl'

        head = self.loadUserAgents() 
        
        headers =  {
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'en-US,en;q=0.5',
            'User-Agent': head
        }

        yield scrapy.http.Request(url,headers=headers)
我使用了一个解析函数,可以跟随下一页。我认为通过这种方式,spider只会生成一次随机用户代理。如何强制爬行器在下面的每个页面上生成新的用户代理

谢谢。

首先安装,然后尝试
headers={“User-Agent”:ua.random}
where
ua=UserAgent()
。这个答案有用吗:?