Python <；a类="；页面按钮下一个插入ng star“&燃气轮机；下一步</a>；不包含href链接。如何在Scrapy中横切下一页？

我想在网页上的“下一步”按钮后使用“刮擦”横切页面。但我发现下一步按钮所在的位置没有href链接。如果没有参考链接，我怎么做？所有的东西都应该在下一个。如何获得ref链接

---

Scrapy无法解释javascript。 您需要使用selenium单击并获取或单击链接

from selenium import webdriver

class your_spider_name(Spider):
    name = 'xxx'
    allowed_domains = ['www.example.org']
    start_urls = ['https://www.example.org']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self,response):
            self.driver.get('https://www.example.org/example')

            while True:
                try:
                    next = self.driver.find_element_by_xpath('//*[@id="BTN_NEXT"]')
                    url = 'http://www.example.org/example'
                    yield Request(url,callback=self.parse2)
                    next.click()
                except:
                    break

            self.driver.close()

    def parse2(self,response):
        print 'you are here!'