如何在申请之前在Scrapy中检查ETag?

如何在申请之前在Scrapy中检查ETag?,scrapy,Scrapy,我想每分钟请求一个URL。但是在我请求整个页面之前,我想检查它是否根据标题中的ETag/Content-length/Age进行了更新。如何在Scrapy中实现此功能?请查看它附带的 不要尝试在没有存储的情况下存储响应/请求 缓存控制指令集 如果未设置缓存控制指令(即使是针对新响应),则不提供来自缓存的响应 从最大年龄缓存控制指令计算新鲜度生存期 从Expires响应头计算新鲜度生存期 从上次修改的响应头计算新鲜度生存期(Firefox使用的启发式方法) 从年龄响应标题计算当前年龄 从日期标头

我想每分钟请求一个URL。但是在我请求整个页面之前,我想检查它是否根据标题中的ETag/Content-length/Age进行了更新。如何在Scrapy中实现此功能?

请查看它附带的

  • 不要尝试在没有存储的情况下存储响应/请求 缓存控制指令集
  • 如果未设置缓存控制指令(即使是针对新响应),则不提供来自缓存的响应
  • 从最大年龄缓存控制指令计算新鲜度生存期
  • 从Expires响应头计算新鲜度生存期
  • 从上次修改的响应头计算新鲜度生存期(Firefox使用的启发式方法)
  • 从年龄响应标题计算当前年龄
  • 从日期标头计算当前年龄
  • 根据上次修改的响应标头重新验证过时响应
  • 基于ETag响应头重新验证过时响应
  • 为任何未收到的响应设置日期标头