Python 如何在不知道完整URL的情况下从同一个网站上刮取多个页面?

Python 如何在不知道完整URL的情况下从同一个网站上刮取多个页面?,python,python-3.x,web-scraping,Python,Python 3.x,Web Scraping,我只是在学习网页抓取。我的目标是从显示数千家公司信息的网站上检索信息。在网站中,每家公司都有自己的页面,URL的最后一个元素基于公司名称,例如: ,, 在这种情况下,如果没有完整的公司名称列表,怎么可能删除网站?您可以使用simple或类似的框架。这样的页面通常有列表页面,您可以在其中找到URL。到目前为止你尝试了什么?什么不起作用?@B.Adler我成功地从一个网页中抓取数据,在几个网页中循环,URL根据某种逻辑或索引进行更改。但是,如果可以在不知道完整URL的情况下循环和刮取网站中的所有页

我只是在学习网页抓取。我的目标是从显示数千家公司信息的网站上检索信息。在网站中,每家公司都有自己的页面,URL的最后一个元素基于公司名称,例如:

,,


在这种情况下,如果没有完整的公司名称列表,怎么可能删除网站?

您可以使用simple或类似的框架。这样的页面通常有列表页面,您可以在其中找到URL。到目前为止你尝试了什么?什么不起作用?@B.Adler我成功地从一个网页中抓取数据,在几个网页中循环,URL根据某种逻辑或索引进行更改。但是,如果可以在不知道完整URL的情况下循环和刮取网站中的所有页面,我无法找到答案,如本例所示。@user9035132从每个类别的类别列表中获取类别列表。从每个类别中,你都会得到每个url。如果我没有公司名称的完整列表,该怎么办?在没有名字列表的情况下,提取数据的方法是什么?我将自动搜索5个类别,收集所有公司名称,并对所有类别重复这一过程。然而,这是一个有点太大的任务,在这里有一个答案,所以。在你收集了所有的公司名称之后,你就可以像我在回答中所做的那样,继续搜索所有的公司“网站”。
import requests

names = ['telesoftas', 'devbridge_lt'] 

for name in names:
    html = requests.get(' https://rekvizitai.vz.lt/en/company/' + names)