如何使用python收集get URL并移动到详细的链接数据

如何使用python收集get URL并移动到详细的链接数据,python,for-loop,Python,For Loop,我试图刮几个链接,收集属于每个网站的具体信息 我想我需要使用for循环。这是我写的代码。 在这种情况下,我只能得到一个结果,但我需要所有结果。 我想知道如何返回URL部分并再次工作,直到找到所有结果 # collect urls data = html.select("div.content a") for i in data: url = "wwww...." + i["href"] # move to url link

我试图刮几个链接,收集属于每个网站的具体信息

我想我需要使用for循环。这是我写的代码。 在这种情况下,我只能得到一个结果,但我需要所有结果。 我想知道如何返回URL部分并再次工作,直到找到所有结果

# collect urls

data = html.select("div.content a")
for i in data:
    url = "wwww...." + i["href"]

# move to url link and collect specific information

raw_each = requests.get(url, headers={"User-Agent":"Mozilla/5.0"})
html_each = BeautifulSoup(raw_each.text,'html.parser')
reply = html_each.select("div.content td")
print(reply[14].text)

您不断使用列表中的下一个链接覆盖
url
的值。 如果要保留所有链接,则必须将它们存储在可以保存多个链接的对象中,例如列表:

data = html.select("div.content a")
urls = []
for i in data:
    urls.append("wwww...." + i["href"])
这将生成一个链接列表,您可以在下一步中进行迭代