Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/html/73.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 快速获取页面源的方法_Python_Html - Fatal编程技术网

Python 快速获取页面源的方法

Python 快速获取页面源的方法,python,html,Python,Html,我目前正在使用Selenium打开和检索URL列表的页面源代码。然而,Selenium对每个url来说都花费了太长的时间,我计划至少对几百个url使用这个脚本。有人能推荐一种更快的方法,使用php获取给定url的页面源代码吗 请包括您建议的代码。提前谢谢 browser.get(url) body = browser.page_source 我是个笨蛋 但我认为请求可能会更快,然后是无头浏览器Selenium,但不会打开GUI,最后是常规Selenium。我的想法基于每种方法可能使用的资源 不

我目前正在使用Selenium打开和检索URL列表的页面源代码。然而,Selenium对每个url来说都花费了太长的时间,我计划至少对几百个url使用这个脚本。有人能推荐一种更快的方法,使用php获取给定url的页面源代码吗

请包括您建议的代码。提前谢谢

browser.get(url)
body = browser.page_source
我是个笨蛋

但我认为请求可能会更快,然后是无头浏览器Selenium,但不会打开GUI,最后是常规Selenium。我的想法基于每种方法可能使用的资源


不幸的是,我当时找不到任何文章来解释这些方法之间的差异,但这里有一篇文章似乎涵盖了chrome无头浏览器:

或:@BramVanroy urllib2是否允许您访问html代码,以便可以通过beautiful soup对其进行解析?我没有使用GUI。我只需要源代码。你应该使用请求,看看这有多快。如果您使用的是Selenium,那么您可能使用的是GUI。