如何使用python获取网站源代码的完全缓冲区

如何使用python获取网站源代码的完全缓冲区,python,web-scraping,beautifulsoup,urllib,urllib2,Python,Web Scraping,Beautifulsoup,Urllib,Urllib2,我正在做一个网页抓取任务。 我用的是漂亮的汤和牛奶。 当我运行代码时,我只得到网站第一部分的一部分。代码中缺少非缓冲部分。 任何人都知道如何获得完全缓冲的网站源代码。 我正在尝试下面给出的代码 import bs4 as bs import urllib.request source = urllib.request.urlopen('https://play.google.com/store/apps?hl=en').read() soup = bs.BeautifulSoup(source

我正在做一个网页抓取任务。 我用的是漂亮的汤和牛奶。 当我运行代码时,我只得到网站第一部分的一部分。代码中缺少非缓冲部分。 任何人都知道如何获得完全缓冲的网站源代码。 我正在尝试下面给出的代码

import bs4 as bs
import urllib.request

source = urllib.request.urlopen('https://play.google.com/store/apps?hl=en').read()
soup = bs.BeautifulSoup(source,'lxml')

如果有人对此有所了解,请提供帮助。

当您提到缓冲网站代码时,您是指仅在向下滚动页面时加载的内容吗?我想您是理解的。我想要的代码,这是可用的,当你点击检查后,右键点击网站。但我在右键单击时获得了查看页面源代码显示。当你向下滚动时,新数据将出现在Facebook和其他社交网站等缓冲区之后。在“检查”中更新,但在“查看页面源”中不更新。因此,我的问题基本上是如何使用python获取“检查”代码而不是“查看页面源代码”。您可以使用selenium多次向下滚动网页。一旦你向下滚动你想要多少,你就可以使用它来获取页面源代码。虽然这不是最理想的方法,但在一定程度上应该是可行的。你可以从页面开始。我会查出来的。谢谢。当你提到缓冲网站代码时,你是指只有在你向下滚动页面时才会加载的内容吗?我想你是理解的。我想要的代码,这是可用的,当你点击检查后,右键点击网站。但我在右键单击时获得了查看页面源代码显示。当你向下滚动时,新数据将出现在Facebook和其他社交网站等缓冲区之后。在“检查”中更新,但在“查看页面源”中不更新。因此,我的问题基本上是如何使用python获取“检查”代码而不是“查看页面源代码”。您可以使用selenium多次向下滚动网页。一旦你向下滚动你想要多少,你就可以使用它来获取页面源代码。虽然这不是最理想的方法,但在一定程度上应该是可行的。你可以从第页开始。我会查出来的。谢谢。