如何点击;“下一步”;在python中使用selenium或scrapy的按钮
我试着用scrapy从flipkart.com上抓取一些数据。 除了下一页,我什么都有了。 首先,我试着用刮痧,然后是硒。 实际上,一个类上一页和下一页都有2个链接 用刮痧: 我找不到任何结果。我得到了空白输出。 含硒: 每当我尝试点击下一页时,从第1页到第2页都可以正常工作。 但是,它没有进入第三页,而是回到第二页 还有别的办法吗?如何点击;“下一步”;在python中使用selenium或scrapy的按钮,python,selenium,web-scraping,scrapy,data-mining,Python,Selenium,Web Scraping,Scrapy,Data Mining,我试着用scrapy从flipkart.com上抓取一些数据。 除了下一页,我什么都有了。 首先,我试着用刮痧,然后是硒。 实际上,一个类上一页和下一页都有2个链接 用刮痧: 我找不到任何结果。我得到了空白输出。 含硒: 每当我尝试点击下一页时,从第1页到第2页都可以正常工作。 但是,它没有进入第三页,而是回到第二页 还有别的办法吗? 如何区分上一页和下一页的URL?只需附加[-1],这样驱动程序就可以只获取给定类/id的最后一个结果 flipkart的代码如下所示 driver.find_el
如何区分上一页和下一页的URL?只需附加[-1],这样驱动程序就可以只获取给定类/id的最后一个结果 flipkart的代码如下所示
driver.find_elements_by_xpath('//a[@class="_1LKTO3"]')[-1].click()
请共享您的代码您可以直接在URL中更改页码:
https://www.flipkart.com/...&page=3
。我建议更改URL,如@YevhenKuzmovych所说(最好使用scrapy),因为每次单击next时元素的xpath都可能更改。xpath也可能因其工作的产品类别而异。。。