Python 无头铬硒,只能找到方法滚动无头

Python 无头铬硒,只能找到方法滚动无头,python,google-chrome,selenium,headless,Python,Google Chrome,Selenium,Headless,关于这个主题有很多东西要找,但我想不出来。我需要滚动到一个(不太长)无限滚动页面的末尾。我有两个选择,与铬无头工作,但似乎不工作无头 我最喜欢的第一个,非常漂亮,在SA上找到: driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options) driver.get('http://www.website.com') while True: count = len(driver.find_elements_by_x

关于这个主题有很多东西要找,但我想不出来。我需要滚动到一个(不太长)无限滚动页面的末尾。我有两个选择,与铬无头工作,但似乎不工作无头

我最喜欢的第一个,非常漂亮,在SA上找到:

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('http://www.website.com')

while True:
    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    print(count)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    try:
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break
在意识到我无法在无头模式下摆脱上述问题后,我又做了第二件黑客工作:

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('https://www.website.com')

while True:

    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    actions = ActionChains(driver)
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()


    # focus_element_scroll = driver.find_elements_by_xpath('//section[@class="occasion-content"]')
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # self.driver.find_element_by_css_selector("ul.list-with-results").send_keys(Keys.ARROW_DOWN)
    print(count)
    # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    try:  
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break
所以两者都在chrome中工作,但不在headless模式下,我需要将它们推到ubuntu vps,在那里它们需要无头,我知道xvfb选项,但我很高兴我可以删除它并使用原生chrome,因为水滴没有太多内存

编辑:刚刚尝试了这种方法,重点放在页脚中的一个元素上,也适用于非headless,但不适用于headless:

ActionChains(driver).move_to_element(focus[0]).perform()
有人有不同的方法吗


编辑只想知道是否可以在无头模式下使用chrome滚动
滚动
页面的
末尾,通过
默认Chrome浏览器
无头Chrome浏览器
可使用以下代码块:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
options.add_argument("--headless")
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
driver.get('http://www.website.com')

while (driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")):
    try:
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH, "//div[@itemprop='itemListElement']" )))
        # do your other actions within the Viewport
    except TimeoutException:
        break
print("Reached to the bottom of the page")

在尝试了两天不同版本的selenium、chrome和chromedriver的组合后,我找到了答案。我也放弃了,想使用xvfb

已经尝试在chrome参数中最大化窗口,但没有帮助。但这次我试着设置一个手动窗口大小。这很有帮助

    chrome_options.add_argument("window-size=1920,1080")

张贴在这里,以便下一个不会花我这么长的时间

我在windows上遇到了这个问题。使用Chrome74,我通过使用下面的chromeOptions修复了这个问题。我的无头模式又起作用了:)谢谢你在DebanjanB

chromeOptions.addArguments("--headless")
chromeOptions.addArguments("--no-sandbox")
chromeOptions.addArguments("--disable-dev-shm-usage")
chromeOptions.addArguments("--window-size=1920x1080")
chromeOptions.addArguments("start-maximised")

感谢awnser,但这是我设置它的方式,它只能在无头模式下工作,与我介绍的其他两个解决方案相同。你试过这个代码吗?我没有收到你的评论。我的答案不是在无头模式下为你执行吗?这段代码在我这里经过了很好的测试。没有--headless参数,代码运行良好。在windows和我的ubuntu vps上,它不能在无头模式下工作。。。没有滚动位置。@user9108711请在Windows上用错误堆栈跟踪更新问题。没有错误,WebDriverWait将启动,并且元素永远不可见,因为没有滚动。再一次,我可以清楚地看到它在没有headless参数的情况下很好地滚动。我试图获取的页面:http://bit.ly/2mxdV1Z