Python 为什么urllib2需要很长时间才能读取？

我正在编写一个简单的程序来比较HTML页面，但我目前的瓶颈是读取HTML文件。具体而言，守则：

    htmldata1 = urllib2.urlopen(url1).read()
    htmldata2 = urllib2.urlopen(url2).read()

url来自IMDB。我不知道为什么要花这么长时间（平均约9秒）。当我只想用正则表达式搜索html文本时，它可能正在下载图像。我从未使用过urllib2，因此非常感谢您的帮助

编辑：

我使用的一个示例url是

---

“

页面加载速度非常慢（在服务器端）。这是在千兆光纤上：

In [4]: url1 = "http://www.imdb.com/title/tt0944947/fullcredits?ref_=tt_cl_sm#cast"

In [5]: %time result = urllib2.urlopen(url1).read()
CPU times: user 56.3 ms, sys: 21.6 ms, total: 77.9 ms
Wall time: 2.16 s

In [7]: %time result2 = requests.get(url1)
CPU times: user 29.5 ms, sys: 6.35 ms, total: 35.9 ms
Wall time: 2.18 s

而且完全在python之外：

$ time curl -o/dev/null "http://www.imdb.com/title/tt0944947/fullcredits?ref_=tt_cl_sm#cast"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 2173k    0 2173k    0     0   537k      0 --:--:--  0:00:04 --:--:--  540k
curl -o/dev/null   0.01s user 0.03s system 0% cpu 4.074 total

---

如果你能给出一个实际的url，那就太好了，这样其他人就可以尝试一下，看看他们是否经历过同样的行为。试过使用

urllib

，而不是

urllib2

？@Eduardo刚刚给出了一个url示例。我的错。Abien，urllib和urllib2都存在这个问题。