Python 通过selenium和请求获取下一页数据

我希望单击下一页以获取列出的产品数据：

当我查看HTML元素时，Next按钮实际上不是一个按钮元素，而是一个span标记。查看开发人员工具，我注意到当我单击next按钮而不移动到其他url时，有一个标记会动态更改

<div data-pager="p:pg1" data-tp="89" data-cp="2">

如何获取下一页数据或发送请求以获取下一页数据？我想我需要selenium，因为它是交互式的，但是我得到了错误“selenium.common.exceptions.elementnotinteractiableexception:Message:element不可交互”

---

谢谢

我查看了该网站，您可以像这样导航到下一页：

next_page_xpath = "//div[@class='rfk_next']"
driver.find_element_by_xpath(next_page_xpath).click()

---

请记住执行while并将上述代码放入try/except中，这样一旦没有下一页，它就会从while循环中断。

您可以调用单击元素

driver.get("https://www.riteaid.com/shop/grocery")
wait = WebDriverWait(driver, 10)
elem = wait.until(EC.presence_of_element_located((By.XPATH, "//span[text()='Next']/parent::div")))
driver.execute_script("arguments[0].click();", elem)

进口

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

---

尝试此操作时，我遇到以下错误：selenium.common.exceptions.elementnotinteractitableexception:Message:element notinteractitable还有什么我缺少的吗？谢谢Arundeep。这就成功了！根据内容的加载方式，您能帮助我了解这些命令中发生了什么吗？我试着检查网络选项卡，看看它是否发出了任何请求，但我看不到在加载数据的地方有任何明显的交互。