Cookies 如何从响应中获取动态cookie?

Cookies 如何从响应中获取动态cookie?,cookies,python-requests,web-crawler,Cookies,Python Requests,Web Crawler,我想抓取一个网站,它要求我在发送请求时首先登录他们的网站,因此请求将失败。我的代码如下: headers = { 'User-Agent': random.choice(USER_AGENTS), 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'en-US,en;q=0.8,zh-C

我想抓取一个网站,它要求我在发送请求时首先登录他们的网站,因此请求将失败。我的代码如下:

headers = {
        'User-Agent': random.choice(USER_AGENTS),
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Language': 'en-US,en;q=0.8,zh-CN;q=0.5,zh;q=0.3',
        'Referer': 'https://www.jd.com/',
        'DNT': '1',
        'Connection': 'keep-alive',
        'Upgrade-Insecure-Requests': '1',
        'TE': 'Trailers',
    }

    try:
        cookie_jar = RequestsCookieJar()
        cookie_jar.set("xxx", "yyy", domain="jd.com")
        response = requests.get(url, headers=headers, cookies=cookie_jar)  
        
        print('cookies: ', response.cookies)

        response.raise_for_status()
        if response.status_code == 200:
            html = response.text  
        
            return html  
    except Exception as error:
        print("Failed: {} {}".format(repr(error), url))
        return ''
我第一次得到cookies,它打印出一对键和值,因此我使用这对键设置cookie\u jar,并将其作为参数传递给requests方法。这在昨晚起作用,但今天当我运行相同的代码时,它再次失败,尤其是打印的cookie是空的,如下所示:

cookies:  <RequestsCookieJar[]>
cookies:
这是否意味着站点的服务器会一直删除我的cookie或更改cookie?在这种情况下,如何获得饼干