Python 如何获取类似浏览器的网站?

Python 如何获取类似浏览器的网站?,python,python-requests,Python,Python Requests,我正在使用python创建一个网站,需要向谷歌提出请求。当我在Chrome中打开Google网站时,浏览器会打开该网站。我的意思是在浏览器中,一半的加载时间用于ttfb,另一半用于下载,如下所示: 我正在使用请求库获取Google。在请求中有一个标志流,用于逐步下载或上载文件。如果将stream设置为true,则逐行获取响应。但是请求同时给出所有行,这意味着所有的获取时间都是用于ttfbnotdownload的时间,如下所示: 另外,如果我将stream设置为false,则获得响应的时间不会

我正在使用
python
创建一个网站,需要向谷歌提出请求。当我在Chrome中打开Google网站时,浏览器会打开该网站。我的意思是在浏览器中,一半的加载时间用于
ttfb
,另一半用于
下载
,如下所示:

我正在使用
请求
库获取Google。在
请求
中有一个标志
,用于逐步下载或上载文件。如果将
stream
设置为true,则逐行获取响应。但是
请求
同时给出所有行,这意味着所有的获取时间都是用于
ttfb
not
download
的时间,如下所示:

另外,如果我将
stream
设置为false,则获得响应的时间不会发生如下变化:


那么,我如何才能逐步获取类似Google的Chrome?

首先,您需要提取html文本(您正在处理
请求)。获取
——解析它,并查找脚本、img和链接元素(可能还有其他一些)。然后排队请求这些元素的src属性。您可以使用线程一次执行几次,然后等待它们全部执行(是否执行,取决于您)。您现在正在逐步从服务器收集文件。@RichardBarker正在快速回复。你的意思是
下载
加载页面的一部分用于获取
静态文件
?如果是,那么为什么当我使用浏览器打开google时需要0.249秒,而当我使用
请求时需要1.953秒?原因有很多。虽然我只能猜测,但我不知道更多。python带来的额外开销,python与chrome使用的任何语言相比,执行堆栈的任何部分实现效率低下。。。这个列表很大。@RichardBarker你能给我一些参考吗?这就是谷歌的作用;-)我对我的答案发表了评论,因为我没有代码,而这正是现在大多数人来这里的目的:-\n我首先要查找其他人在python库上完成的一些基准测试。然后,如果没有出现,考虑使用另一种方式来获取文件,卷曲可能?首先,你需要拉HTML文本-你正在做的“代码>请求。获取< /代码> -解析它,并寻找脚本,IMG,和链接元素(也许其他夫妇)。然后排队请求这些元素的src属性。您可以使用线程一次执行几次,然后等待它们全部执行(是否执行,取决于您)。您现在正在逐步从服务器收集文件。@RichardBarker正在快速回复。你的意思是
下载
加载页面的一部分用于获取
静态文件
?如果是,那么为什么当我使用浏览器打开google时需要0.249秒,而当我使用
请求时需要1.953秒?原因有很多。虽然我只能猜测,但我不知道更多。python带来的额外开销,python与chrome使用的任何语言相比,执行堆栈的任何部分实现效率低下。。。这个列表很大。@RichardBarker你能给我一些参考吗?这就是谷歌的作用;-)我对我的答案发表了评论,因为我没有代码,而这正是现在大多数人来这里的目的:-\n我首先要查找其他人在python库上完成的一些基准测试。然后,如果没有出现,考虑使用另一种方式来获取文件,卷曲可能?