Python 使用selenium递归浏览链接

我想知道是否可以使用python selenium浏览站点中的所有链接，包括父链接和子链接，例如：yahoo.com

获取主页中的所有链接， 打开每一个 打开子链接中的所有链接到三到四个级别。 我正在python上使用selenium

谢谢

---

Ala'a

当然这是可能的，但是当您在一个浏览器中工作时，您必须指示selenium逐个输入这些链接

如果页面在浏览器中没有JavaScript呈现的链接，那么通过直接http请求获取这些页面并以这种方式进行处理将更加高效。在这种情况下，我建议使用请求。但是，即使有请求，也要由您的代码来定位页面中的所有URL，并随后获取这些页面

可能还有其他Python软件包专门处理这类任务，但在这里我无法提供真正的经验。

您需要类似并且可能需要的软件-第一个用于构建一个名为spider的程序，该程序在网页中爬行，从网页中提取结构化数据，并遵循其中的某些或所有链接。BS4还用于从网页中提取数据，并与库相结合，例如可以用来构建您自己的spider，尽管在这一点上，Scrapy之类的东西可能更适合您的需要

有很多教程和例子可以帮助你——从我上面链接的谷歌搜索开始