Python urllib2有时返回旧页-返回奇怪的页眉

Python urllib2有时返回旧页-返回奇怪的页眉,python,json,caching,urllib,Python,Json,Caching,Urllib,我正在编写一个python脚本,该脚本使用URL返回的JSON。 由于几天的时间,urllib2有时只返回JSON的旧状态。 我确实添加了headers缓存控件:max age=0等等,但有时还是会这样 如果我打印出我得到的请求信息: Server: nginx/1.8.0 Date: Thu, 03 Sep 2015 17:02:47 GMT Content-Type: application/json; charset=utf-8 Content-Length: 3539 Status: 2

我正在编写一个python脚本,该脚本使用URL返回的JSON。 由于几天的时间,urllib2有时只返回JSON的旧状态。 我确实添加了headers缓存控件:max age=0等等,但有时还是会这样

如果我打印出我得到的请求信息:

Server: nginx/1.8.0
Date: Thu, 03 Sep 2015 17:02:47 GMT
Content-Type: application/json; charset=utf-8
Content-Length: 3539
Status: 200 OK
X-XHR-Current-Location: /shop/169464.json
X-UA-Compatible: IE=Edge,chrome=1
ETag: "b1fbe7a01e0832025a3afce23fc2ab56"
X-Request-Id: 4cc0d399f943ad09a903f18a6ce1c488
X-Runtime: 0.123033
X-Rack-Cache: miss
Accept-Ranges: bytes
X-Varnish: 1707606900 1707225496
Age: 2860
Via: 1.1 varnish
Cache-Control: private, max-age=0, must-revalidate
Pragma: no-cache
X-Cache: HIT
X-Cache: MISS from adsl
X-Cache-Lookup: MISS from adsl:21261
Connection: close
这是否与收割台老化或X-Cache-Rack有关?或者我有什么办法可以解决它


提前谢谢

尝试伪造用户代理,删除cookie,删除会话

fake_user_agent = ['chrome','firefox','safari']
request = urllib2.Request(url)
request.add_header('User-Agent', get_random(fake_user_agent))
content = urllib2.build_opener().open(request)
如果所有这些都不起作用,那么尝试使用tor更改每个请求的ip


如果什么都不起作用,那么你就不能绕过它,因为你正在连接到透明代理

在我看来,这就像是服务器强制缓存一样-甚至不确定你可以在服务器上解决这个问题而不更改它。与建议的答案和@remus的评论相关,基本的想法可能只是在每次需要加载页面时都以新的/不同的客户端的形式出现。看起来如果答案来自nginx/1.8.0,那就是缓存命中,我甚至无法向url添加随机字符串以避免命中。所有来自nginx/1.6.1的答案都有效。那是怎么回事?