Python BeautifulSoup对象与chrome的DeveloperTools中网站的html标记不匹配

Python BeautifulSoup对象与chrome的DeveloperTools中网站的html标记不匹配,python,beautifulsoup,Python,Beautifulsoup,我尝试使用Python的BeautifulSoup和urllib2库对其进行爬网。我遇到的一个问题是,soup对象与使用Google Chrome的DeveloperTool显示的网页html不匹配。我检查了多次,我确信我传递的是正确的地址。我之所以知道它们不同,是因为我将整个soup对象打印到Sublimite2上,并将其与chrome的DeveloperTools上显示的内容进行了比较。我还搜索了soup对象中真正特定的标记。经过几个小时的调试,我已经没有主意了。有人知道为什么会这样吗?是否

我尝试使用Python的BeautifulSoup和urllib2库对其进行爬网。我遇到的一个问题是,soup对象与使用Google Chrome的DeveloperTool显示的网页html不匹配。我检查了多次,我确信我传递的是正确的地址。我之所以知道它们不同,是因为我将整个soup对象打印到Sublimite2上,并将其与chrome的DeveloperTools上显示的内容进行了比较。我还搜索了soup对象中真正特定的标记。经过几个小时的调试,我已经没有主意了。有人知道为什么会这样吗?是否正在进行某种重新定向?

JavaScript将在网站中运行,从而更改网站DOM。任何url库(如urllib2)只下载HTML,不执行包含/链接的JavaScript。这就是为什么您会看到不同之处。

请分享您尝试过的代码这是因为在构建页面时,浏览器端会发生很多事情。urllib2只能得到初始html。