使用漂亮的汤和使用python的selenium进行刮削的问题

我试图练习使用selenium/BS4，但我遇到了一个问题

我的密码在这里

基本上，我正在尝试从以下位置获取url：

`'class':'td_text_highlight_marker_green td_text_highlight_marker'`

但是每当我运行脚本时，返回的链接数总是不同的

它每次运行时都会返回18。 我甚至试着用selenium点击链接来跟踪它，但就我的一生而言，我无法理解它

---

请提供帮助：）

网页DOM未在搜索时完全加载。因此，为了确保

span

在您开始使用

BeautifulSoup

查找它之前确实存在，请添加

WebDriverWait

for coupon_url in coupon_url_list:
    driver.get(coupon_url)
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//span[@class='td_text_highlight_marker_green td_text_highlight_marker']")))
    content = driver.page_source
    # rest of your code here

---

请在你的帖子中编辑代码。