Selenium 用scrapy加载会话cookie

Selenium 用scrapy加载会话cookie,selenium,web-scraping,scrapy,Selenium,Web Scraping,Scrapy,我使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,需要保存和加载哪些字段 使用selenium,我将执行以下操作来保存cookies: import pickle import selenium.webdriver driver = selenium.webdriver.Firefox() driver.get("http://www.google.com") pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"

我使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,需要保存和加载哪些字段

使用selenium,我将执行以下操作来保存cookies:

import pickle
import selenium.webdriver 

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))
这将加载它们:

进口泡菜 导入selenium.webdriver

driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)

它工作得很好,是否可以使用scrapy执行此操作?是否可以使用Cookie发送请求:

request\u with\u cookies=请求(url=”http://www.example.com,cookies={'currency':'USD','country':'UY'})
从响应中获取cookies:

cookies\u from\u response=response.headers[b'cookies'].decode()