Python 找到的元素列表中缺少Webdriver HTML

Python 找到的元素列表中缺少Webdriver HTML,python,html,selenium,selenium-webdriver,web-scraping,Python,Html,Selenium,Selenium Webdriver,Web Scraping,我正在检索一个元素列表,然后循环查找每个元素中的一个元素。前15项工作正常,但之后每一项(总共217项)我都会遇到问题。我发现这是一种尝试,除了: driver.get(url) driver.execute_脚本(“window.scrollTo(0,document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;”) 睡眠(5) 链接=[] 对于驱动程序中的卡。按类名称查找元素('pr

我正在检索一个元素列表,然后循环查找每个元素中的一个元素。前15项工作正常,但之后每一项(总共217项)我都会遇到问题。我发现这是一种尝试,除了:

driver.get(url)
driver.execute_脚本(“window.scrollTo(0,document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;”)
睡眠(5)
链接=[]
对于驱动程序中的卡。按类名称查找元素('product-card-grid\uu item-1-2'):
尝试:
link=card。通过标签名称('a')查找元素。获取属性(“href”)
links.append(link)
除:
打印(len(链接))
打印(card.get_属性('innerHTML'))
重复输出:

15
15
15
15
查看页面的HTML,我检索到的每个div元素都具有相同的格式


19.00美元这种款式不错。被排除在促销之外。
19.00美元这种款式不错。被排除在促销之外。
...
更新:在再次尝试完全相同的第一个代码后,我现在只得到前8个元素的链接

我会理解,既然我正在滚动到底部,那么是否只有底部元素正在加载,但为什么它只是第一个呢?

我在循环之外添加了一个
len(links)
,让它完成,并发现在异常之后实际上找到了一些额外的元素。查看检索到的链接,我发现链接是从顶部检索的,与我所想的相反,一些链接是从底部元素检索的,但大多数中间元素仍然没有检索到

问题很可能是仅仅滚动到底部并不能加载所有中间元素/保持加载状态,因为这是一个长页面。但是第一个元素保持加载状态。我想我需要慢慢滚动到底部来加载所有内容


已确认。我通过一次向下滚动一点来启动它,它将所有元素完全加载。

url是什么?你能分享吗?@chitown88