Python Selenium webdriver页面\u源在向下滚动\u后未提供全部内容

我正试图抓取一个twitter站点，有一长串的评论，所以我使用selenium向下滚动到最后：

from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get(url)
for i in range(30):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)

现在，当我尝试按标记名获取元素时，article不会捕获所有标记

> len(driver.find_elements_by_tag_name('article'))
16

当我手动滚动页面并尝试相同的代码时

> len(driver.find_elements_by_tag_name('article'))
20

页面源的情况也是如此。当我将

driver.page\u source

保存到一个文件中，并打开该文件以搜索现有的twitter用户名时，找不到该名称。只显示html末尾的用户名

---

首先，我认为这可能是浏览器的问题。然后我用ChromeDriver做了同样的尝试。但是结果是相似的。

可以显示页面的url吗？给你

https://twitter.com/OnePlus_NPL/status/1273912248633704448

您是否尝试将30更改为大于30的数字？问题不在于数字30。它实际上向下滚动了30次！我已经滚动了两次；首先是范围（20），然后是范围（10），直到我到达无滚动点。是否可以显示页面的url？这里是

https://twitter.com/OnePlus_NPL/status/1273912248633704448

您是否尝试将30更改为大于30的数字？问题不在于数字30。它实际上向下滚动了30次！我已经滚动了两次；首先是范围（20），然后是范围（10），直到我到达无滚动点