Selenium Python中的同步请求

我正在为一个爱好项目学习网页抓取（在python中使用Selenium）

我正在尝试获取有关产品列表的信息。大约有100个网页，我按顺序加载每个网页，处理每个网页中的数据，然后移动到下一个。
这个过程需要5分钟以上，主要的瓶颈是每个页面的加载时间

因为我只是在“阅读”网页（不与任何网页互动）。。。我想知道是否可以一起发送所有页面的请求（而不是等待一个页面加载，然后请求下一个页面），并在数据到达时处理数据

PS：请告诉我是否有其他解决方案可以缩短加载时间

您可以使用和来加快加载速度。例如：

导入线程
导入请求
链接列表=[
#所有链接都在这里
]
线程=[]
所有html={
#这将是一个字典的链接作为键和HTML的链接作为值
}
def get_html（链接）：
r=请求。获取（链接）
all_html[link]=r.text
对于链接列表中的链接，请执行以下操作：
thread=threading.thread（target=get_html，args=（link，））
thread.start（）
附加（线程）
对于螺纹中的t：
t、 加入
打印（全部html）
打印（“完成”）

您可以使用和使其更快。例如：

导入线程
导入请求
链接列表=[
#所有链接都在这里
]
线程=[]
所有html={
#这将是一个字典的链接作为键和HTML的链接作为值
}
def get_html（链接）：
r=请求。获取（链接）
all_html[link]=r.text
对于链接列表中的链接，请执行以下操作：
thread=threading.thread（target=get_html，args=（link，））
thread.start（）
附加（线程）
对于螺纹中的t：
t、 加入
打印（全部html）
打印（“完成”）

查看。如果您不与javascript交互，这和html解析器（例如bs4）就足够了。如果你这样做了，试试看。如果您不与javascript交互，这和html解析器（例如bs4）就足够了。如果你这样做了，试试看。