Scrapy 不分页的刮痕蜘蛛

我正在使用此链接（）中的代码，但不知何故，我无法访问分页页面

---

我正在使用scrapy 1.3.0，你没有任何处理下一页的机制，你所做的只是收集图像

这里是你应该做的，我写了一些选择器，但没有测试它

从scrapy.Spider进口蜘蛛 从scrapy.selector导入选择器 从刮擦进口请求 导入URL解析

xxx类十字轴（十字轴）： name=“xxx” 允许的_域=[“xxx.com”]

和你们做的类似，但当我得到图片时，我会检查下一个页面链接，如果它存在，我会用它生成另一个请求

迈赫迈特

def start_requests(self):
    url = 'first page url'
    yield Request(url=url, callback=self.parse, meta={"page":1})


def parse(self, response):
    page = response.meta["page"] + 1
    html = Selector(response)

    pics = html.css('div.thing')
    for selector in pics:                
        item = PicItem()
        item['image_urls'] = selector.xpath('a/@href').extract()
        item['title'] = selector.xpath('div/p/a/text()').extract()
        item['url'] = selector.xpath('a/@href').extract()

        yield item

    next_link = html.css("span.next-button a::attr(href)")
    if not next_link is None:
        yield Request(url=url, callback=self.parse, meta={"page":page})