如何在申请之前在Scrapy中检查ETag?
我想每分钟请求一个URL。但是在我请求整个页面之前,我想检查它是否根据标题中的ETag/Content-length/Age进行了更新。如何在Scrapy中实现此功能?请查看它附带的如何在申请之前在Scrapy中检查ETag?,scrapy,Scrapy,我想每分钟请求一个URL。但是在我请求整个页面之前,我想检查它是否根据标题中的ETag/Content-length/Age进行了更新。如何在Scrapy中实现此功能?请查看它附带的 不要尝试在没有存储的情况下存储响应/请求 缓存控制指令集 如果未设置缓存控制指令(即使是针对新响应),则不提供来自缓存的响应 从最大年龄缓存控制指令计算新鲜度生存期 从Expires响应头计算新鲜度生存期 从上次修改的响应头计算新鲜度生存期(Firefox使用的启发式方法) 从年龄响应标题计算当前年龄 从日期标头
- 不要尝试在没有存储的情况下存储响应/请求 缓存控制指令集
- 如果未设置缓存控制指令(即使是针对新响应),则不提供来自缓存的响应
- 从最大年龄缓存控制指令计算新鲜度生存期
- 从Expires响应头计算新鲜度生存期
- 从上次修改的响应头计算新鲜度生存期(Firefox使用的启发式方法)
- 从年龄响应标题计算当前年龄
- 从日期标头计算当前年龄
- 根据上次修改的响应标头重新验证过时响应
- 基于ETag响应头重新验证过时响应
- 为任何未收到的响应设置日期标头