在python代码中按下按钮

在python代码中按下按钮,python,selenium,scrapy,Python,Selenium,Scrapy,作为使用scrapy的网络爬虫的一部分,我正在尝试按下网页上的“显示更多”按钮,以显示页面的其余部分。它看起来像一个标枪按钮,但我看不出它是如何工作的 网页上的代码为: <div id="restsPages"> <a class="next" data-url="https://hungryhouse.co.uk/takeaways/aberdeen-bridge-of-dee-ab10">Show more</a> <a class="back"&g

作为使用scrapy的网络爬虫的一部分,我正在尝试按下网页上的“显示更多”按钮,以显示页面的其余部分。它看起来像一个标枪按钮,但我看不出它是如何工作的

网页上的代码为:

<div id="restsPages">
<a class="next" data-url="https://hungryhouse.co.uk/takeaways/aberdeen-bridge-of-dee-ab10">Show more</a>
<a class="back">Back to top</a>
</div>
我得到的错误是:“chromedriver”可执行文件需要在路径中


你知道如何在代码中按下此按钮吗?

@Nf4r部分工作正常。我现在正在使用self.driver=webdriver.Chrome(“C:/Users/andrew/Downloads/chromedriver\u win32/chromedriver.exe”),我看到一个Chrome窗口打开,按下按钮可以显示整个页面。但是我的代码只拾取原始页面,就好像它没有拾取通过按下按钮显示的任何内容一样。我已经将剪贴代码放在下一页之后查找项目。单击()。此外,由于某种原因,我会得到一个弹出窗口,告诉我“驱动器中没有磁盘”,虽然这似乎不会阻止按钮被按下。好的,我的代码开始工作了——你的答案是“钱花得太多了”——我的代码需要稍微调整一下。仍然有弹出窗口告诉我“驱动器中没有磁盘”,尽管我怀疑这与所有这些无关。@Nf4r部分起作用。我现在正在使用self.driver=webdriver.Chrome(“C:/Users/andrew/Downloads/chromedriver\u win32/chromedriver.exe”),我看到一个Chrome窗口打开,按下按钮可以显示整个页面。但是我的代码只拾取原始页面,就好像它没有拾取通过按下按钮显示的任何内容一样。我已经将剪贴代码放在下一页之后查找项目。单击()。此外,由于某种原因,我会得到一个弹出窗口,告诉我“驱动器中没有磁盘”,虽然这似乎不会阻止按钮被按下。好的,我的代码开始工作了——你的答案是“钱花得太多了”——我的代码需要稍微调整一下。仍然有弹出窗口告诉我“驱动器中没有磁盘”,尽管我怀疑这与所有这些无关。
import scrapy

from hungryhouse.items import HungryhouseItem
from selenium import webdriver  

class HungryhouseSpider(scrapy.Spider):
    name = "hungryhouse"
    allowed_domains = ["hungryhouse.co.uk"]
    start_urls = ["https://hungryhouse.co.uk/takeaways/westhill-ab10",
                  ]
    def __init__(self):
        self.driver = webdriver.Chrome()

    def parse(self,response):
        self.driver.get(response.url)

        while True:
            next =self.driver.find_element_by_xpath('//*[@id="restsPages"]/a[@class="next"]')
            try:
                next.click()
            except:
                break
        self.driver.close()