Cookies Scrapy:浏览器不接受cookie,不管设置如何

Cookies Scrapy:浏览器不接受cookie,不管设置如何,cookies,scrapy,Cookies,Scrapy,这个刮刀很好用。我只想得到这个页面上项目的标题 在scrapy shell中,使用view(response)函数会显示一个网页,上面写着“您的web浏览器不接受cookies”。即使我将用户代理信息添加到scrapy shell启动中 因此,scraper无法刮取任何信息。我已经改变的事情: COOKIES_ENABLED = True COOKIES_DEBUG = True ROBOTSTXT_OBEY = False USER_AGENT = 'Mozilla/5.0 (Window

这个刮刀很好用。我只想得到这个页面上项目的标题

在scrapy shell中,使用view(response)函数会显示一个网页,上面写着“您的web浏览器不接受cookies”。即使我将用户代理信息添加到scrapy shell启动中

因此,scraper无法刮取任何信息。我已经改变的事情:

COOKIES_ENABLED = True
COOKIES_DEBUG = True
ROBOTSTXT_OBEY = False
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
DOWNLOADER_MIDDLEWARES = {'walmartscraper.middlewares.WalmartscraperDownloaderMiddleware': 543,}
我觉得我需要在Middleware部分添加/更改一些东西(它仍然是默认代码)和/或在某处实现请求。这是我第一次在抓取的时候处理饼干,我发现的信息并没有帮我解决这个问题


非常感谢您的任何建议。谢谢。

这是否回答了您的问题?