Python 无法使用Selenium刮取无限滚动

在过去的1年里，我一直在使用Selenium抓取推文，但它无法将页面滚动超过一个点并指向“返回顶部”。 如何使用Selenium解决这个问题

这是我的密码-

driver=webdriver.Firefox(executable_path="/home/piyush/geckodriver")
url="https://twitter.com/narendramodi"
driver.get(url)
time.sleep(6)

lastHeight = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(6)
    newHeight = driver.execute_script("return document.body.scrollHeight")
    if newHeight == lastHeight:
         break
    lastHeight = newHeight

这是作为图像的输出

---

您可以使用以下内容。尝试等待一些超时，直到“返回顶部”消失，然后继续报废

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    disappeared = WebDriverWait(driver, 10).until(
        lambda x: not EC.visibility_of_element_located((By.ID, "myDynamicElement"))
    )

    if disappeared:
        print('Continue')
finally:
    driver.quit()

---

滚动的尝试在哪里？@DebanjanB问题不在于scrolling@DebanjanB简而言之，我想到达页面底部，但它不会进入页面底部并显示“返回顶部”。我如何才能消除这个问题并加载更多tweet？@A.Albershteyn它抛出的错误为“timeoutexception:message:”。如何克服这个错误？我没有看到任何与报废相关的代码…@DebanjanB我没有附加报废代码，因为我想摆脱这个“返回顶部”的问题。我可以抓取数据，但问题是页面在这一点之后没有滚动。这违反了Twitter的服务条款。不允许刮取。@andypper，但我现在可以使用twitter高级搜索选项刮取用户的所有推文。