Python urllib2未返回完整网页

Python urllib2未返回完整网页,python,web-scraping,Python,Web Scraping,我刚刚开始使用Python,我正在尝试使用urllib2请求站点的html源代码。然而,当我试图从一个站点获取html内容时,我并没有得到完整的html内容——缺少标记。我知道它们丢失了,因为当我在firebug中查看站点时,代码显示出来了。这是因为我请求数据的方式,还是因为网站?如果是这样的话,有没有一种方法可以让我用python获取站点的完整源代码,然后对其进行解析 目前,我用于请求内容和我尝试的站点的代码是: import urllib2 url = 'http://marinetraf

我刚刚开始使用Python,我正在尝试使用urllib2请求站点的html源代码。然而,当我试图从一个站点获取html内容时,我并没有得到完整的html内容——缺少标记。我知道它们丢失了,因为当我在firebug中查看站点时,代码显示出来了。这是因为我请求数据的方式,还是因为网站?如果是这样的话,有没有一种方法可以让我用python获取站点的完整源代码,然后对其进行解析

目前,我用于请求内容和我尝试的站点的代码是:

import urllib2

url = 'http://marinetraffic.com/ais/'
response = urllib2.urlopen(url)
html = response.read()
print(html)

具体来说,-div id=“map\u area”-之间的内容缺失。非常感谢任何帮助/指点

您得到的数据不完整,因为此页面上的大部分内容都是通过Javascript动态生成的。
read
urlopen
返回的描述符上只返回已下载的内容。所以你很容易得到一个简短的阅读。最好使用
urllib.urlretrieve()
,它会尝试获取整个文件,检查内容长度头,如果失败则会引发错误。

这将非常有用。