Cookies 如何从响应中获取动态cookie?
我想抓取一个网站,它要求我在发送请求时首先登录他们的网站,因此请求将失败。我的代码如下:Cookies 如何从响应中获取动态cookie?,cookies,python-requests,web-crawler,Cookies,Python Requests,Web Crawler,我想抓取一个网站,它要求我在发送请求时首先登录他们的网站,因此请求将失败。我的代码如下: headers = { 'User-Agent': random.choice(USER_AGENTS), 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'en-US,en;q=0.8,zh-C
headers = {
'User-Agent': random.choice(USER_AGENTS),
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.8,zh-CN;q=0.5,zh;q=0.3',
'Referer': 'https://www.jd.com/',
'DNT': '1',
'Connection': 'keep-alive',
'Upgrade-Insecure-Requests': '1',
'TE': 'Trailers',
}
try:
cookie_jar = RequestsCookieJar()
cookie_jar.set("xxx", "yyy", domain="jd.com")
response = requests.get(url, headers=headers, cookies=cookie_jar)
print('cookies: ', response.cookies)
response.raise_for_status()
if response.status_code == 200:
html = response.text
return html
except Exception as error:
print("Failed: {} {}".format(repr(error), url))
return ''
我第一次得到cookies,它打印出一对键和值,因此我使用这对键设置cookie\u jar,并将其作为参数传递给requests方法。这在昨晚起作用,但今天当我运行相同的代码时,它再次失败,尤其是打印的cookie是空的,如下所示:
cookies: <RequestsCookieJar[]>
cookies:
这是否意味着站点的服务器会一直删除我的cookie或更改cookie?在这种情况下,如何获得饼干