Python 处理下一页链接时遇到问题

Python 处理下一页链接时遇到问题,python,python-3.x,selenium,selenium-webdriver,web-scraping,Python,Python 3.x,Selenium,Selenium Webdriver,Web Scraping,我已经用python结合selenium编写了一个脚本,以从支持javascript的网页中获取一些数据。单击“下一页”按钮之前要做三件事,因为只有当网页包含搜索结果时,才会显示“下一页”链接。这三件事是:填写两个搜索框并单击搜索按钮。然而,我的脚本可以完美地完成这三件事,但是当它应该点击下一个页面链接时就会中断(抛出超时异常)。如您所见,我已经尝试了三种不同的选项来单击下一页链接,但从未成功。我试过的其余两个都被注释掉了。如何成功单击下一页按钮 我尝试过的脚本: from selenium i

我已经用python结合selenium编写了一个脚本,以从支持javascript的网页中获取一些数据。单击“下一页”按钮之前要做三件事,因为只有当网页包含搜索结果时,才会显示“下一页”链接。这三件事是:填写两个搜索框并单击搜索按钮。然而,我的脚本可以完美地完成这三件事,但是当它应该点击下一个页面链接时就会中断(抛出超时异常)。如您所见,我已经尝试了三种不同的选项来单击下一页链接,但从未成功。我试过的其余两个都被注释掉了。如何成功单击下一页按钮

我尝试过的脚本:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)
driver.get("https://brokercheck.finra.org/")

wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "[placeholder='Name or CRD#']"))).send_keys("Michael John")
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "[placeholder='Firm Name or CRD# (optional)']"))).send_keys("Morgan Stanley")
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.md-button'))).click()
# wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'.pagination-next a'))).click()
# wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.pagination-next a'))).click()
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR,'.pagination-next a'))).click()
driver.quit()
下一页链接所在的元素:

<ul class="pagination ng-pristine ng-untouched ng-valid ng-scope ng-isolate-scope" data-ng-if="listCtrl.getTotalResults()" total-items="listCtrl.getDisplayResults()" ng-model="listCtrl.currentPage" max-size="1" page-label="listCtrl.pageLabel($page)" items-per-page="listCtrl.itemsPerPage" ng-change="listCtrl.pageChanged()" boundary-links="true" previous-text="‹" next-text="›" first-text="«" last-text="»" aria-invalid="false">
  <!-- ngIf: ::boundaryLinks --><li ng-if="::boundaryLinks" ng-class="{disabled: noPrevious()||ngDisabled}" class="pagination-first ng-scope disabled"><a href="" ng-click="selectPage(1, $event)" class="ng-binding">«</a></li><!-- end ngIf: ::boundaryLinks -->
  <!-- ngIf: ::directionLinks --><li ng-if="::directionLinks" ng-class="{disabled: noPrevious()||ngDisabled}" class="pagination-prev ng-scope disabled"><a href="" ng-click="selectPage(page - 1, $event)" class="ng-binding">‹</a></li><!-- end ngIf: ::directionLinks -->
  <!-- ngRepeat: page in pages track by $index --><li ng-repeat="page in pages track by $index" ng-class="{active: page.active,disabled: ngDisabled&amp;&amp;!page.active}" class="pagination-page ng-scope active"><a href="" ng-click="selectPage(page.number, $event)" class="ng-binding">1 of 27 pages</a></li><!-- end ngRepeat: page in pages track by $index -->
  <!-- ngIf: ::directionLinks --><li ng-if="::directionLinks" ng-class="{disabled: noNext()||ngDisabled}" class="pagination-next ng-scope"><a href="" ng-click="selectPage(page + 1, $event)" class="ng-binding">›</a></li><!-- end ngIf: ::directionLinks -->
  <!-- ngIf: ::boundaryLinks --><li ng-if="::boundaryLinks" ng-class="{disabled: noNext()||ngDisabled}" class="pagination-last ng-scope"><a href="" ng-click="selectPage(totalPages, $event)" class="ng-binding">»</a></li><!-- end ngIf: ::boundaryLinks -->
</ul>

页面上有两个页码,其定位器相同:顶部和底部

要处理top,您需要执行
驱动程序。最大化\u window()
使其可见,然后使用与您尝试的相同代码:

link = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR,'.pagination-next a')))
driver.execute_script('arguments[0].scrollIntoView();', link)
link.click()
要处理底部分页,请执行以下操作:

wait.until(EC.visibility_of_element_located((By.XPATH,'(//*[contains(@class, "pagination-next")]//a)[2]'))).click()

你能给网站url吗?当然,它在脚本中。有两件事,在传递键后,url会发生变化,所以你需要先获取当前url,然后用标记传递这个类,然后单击也这样做,但会引发相同的异常。你不是指
driver.get(driver.current\u url)
然后单击我的其余代码?请尽快回复,先生。尝试使用第二个选项,但它引发错误:
引发异常\u类(消息、屏幕、堆栈跟踪)selenium.common.exceptions.WebDriverException:消息:未知错误:元素在点处不可单击(583,2030)
无法应用第一个解决方案,因为我从未使用过“最大化窗口”命令,所以我不知道如何使用该命令。进行搜索以了解一点。
最大化窗口()
只允许您在“全屏”下使用浏览器“模式..”。。这是奇怪的-第二次对我来说也是有效的…让我再试几次,先生。您提供的底部分页表达式也有效。我在升级了
chromedriver
之后对它进行了测试。