Python 我无法刮特定时间段的每一个链接内容

我不熟悉python和web抓取。谢谢你的帮助。 我是编程和实践方面的新手。我正在使用python和selenium进行web抓取

我正试图从中搜集数据。目标是找到过去24小时内发布的所有工作，并清除工作详细信息页面上可用的外部链接，链接文本为“在公司网站上申请”，标题、公司、名称、位置、工作描述

我编写了以下代码，但它正确地获取了页面上的所有链接，然后当我尝试打开每个链接时，它只打开了第一个链接。 我怎样才能打开我一个接一个获取的所有链接。提前感谢，以下是我的代码示例：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys

Path = "C:\Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(Path)

driver.get("https://indeed.ae/")
print(driver.title)
search = driver.find_element_by_name("l")
search.send_keys("Dubai")
search.send_keys(Keys.RETURN)

try:
    td = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "resultsCol"))
    )
    divs = td.find_elements_by_tag_name("div")

    for div in divs:
        try:
            title = div.find_element_by_class_name("title")
            anchors = title.find_elements_by_tag_name('a')
            links = []
            for anchor in anchors:
                link = anchor.get_attribute('href')
                links.append(link)
                print(links)
                for link in links:
                    url = driver.get(link)
        except:
            continue

finally:
    driver.quit()


driver.quit()

---

我认为你在错误的地方运行循环，这就是为什么你只得到1个链接

try:
        title = div.find_element_by_class_name("title")
        anchors = title.find_elements_by_tag_name('a')
        links = []
        for anchor in anchors:
            link = anchor.get_attribute('href')
            links.append(link)
        print(links)
        for link in links:
            url = driver.get(link)

我不使用selenium，但我擅长网络抓取主题。请告诉我你在链接列表循环中想做什么

for link in links:
            url = driver.get(link)

---

问题是你得到了

href

，转到页面，刮下它并说给我下一个

href

，但是现在你看，你再也找不到了，因为你在另一个页面上

---

解决方案：清除所有URL并将其放入列表中。迭代列表，然后逐个进行刮取并从列表中选择下一个元素。

我正在获取所有作业URL并存储在列表中，之后我将分别刮取每个链接的内容，并将其存储在excel或json或列表中。您必须了解如何在selenium中管理页面并在不同页面中打开每个链接。检查此链接-