Selenium 用scrapy加载会话cookie
我使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,需要保存和加载哪些字段 使用selenium,我将执行以下操作来保存cookies:Selenium 用scrapy加载会话cookie,selenium,web-scraping,scrapy,Selenium,Web Scraping,Scrapy,我使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,需要保存和加载哪些字段 使用selenium,我将执行以下操作来保存cookies: import pickle import selenium.webdriver driver = selenium.webdriver.Firefox() driver.get("http://www.google.com") pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"
import pickle
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))
这将加载它们:
进口泡菜
导入selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
driver.add_cookie(cookie)
它工作得很好,是否可以使用scrapy执行此操作?是否可以使用Cookie发送请求:
request\u with\u cookies=请求(url=”http://www.example.com,cookies={'currency':'USD','country':'UY'})
从响应中获取cookies:
cookies\u from\u response=response.headers[b'cookies'].decode()