使用http身份验证的Scrapy ignore页面

是否有一种方法或设置可以在爬行过程中忽略具有基本http身份验证的页面

---

谢谢

你说的“忽略页面”是什么意思，你想忽略请求还是响应？此外，该页面不使用401503，而使用200代码？我想忽略对具有http身份验证的页面的请求。目前，我正在使用这种方法检查www身份验证的链接头，但不知道是否有更好的方法