Python 用多个页面抓取网站时出现问题_Python_Web Scraping_Scrapy

Python 用多个页面抓取网站时出现问题

python web-scraping scrapy

Python 用多个页面抓取网站时出现问题,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用Python3.8和Scrapy1.6，我编写了一个spider来抓取一个非英语网站，但分页不起作用，我得到了一个CSV文件，其中只包含第一页的元素。由于我无法从其他类似问题中找到解决方案，我请求帮助这是我的蜘蛛代码： # -*- coding: utf-8 -*- import scrapy import logging import urllib.parse parts= urllib.parse.urlsplit(u'http://fa.wikipedia.org/wiki/ص

我正在使用Python3.8和Scrapy1.6，我编写了一个spider来抓取一个非英语网站，但分页不起作用，我得到了一个CSV文件，其中只包含第一页的元素。由于我无法从其他类似问题中找到解决方案，我请求帮助

这是我的蜘蛛代码：

# -*- coding: utf-8 -*-
import scrapy
import logging
import urllib.parse
parts= urllib.parse.urlsplit(u'http://fa.wikipedia.org/wiki/صفحهٔ_اصلی')
parts= parts._replace(path=urllib.parse.quote(parts.path.encode('utf8')))
encoded_url= parts.geturl().encode('ascii')
'https://fa.wikipedia.org/wiki/%D8%B5%D9%81%D8%AD%D9%87%D9%94_%D8%A7%D8%B5%D9%84%DB%8C'


class PromotionsSpider(scrapy.Spider):
    name= 'promotions'
    allowed_domains=['www.digikala.com']
    
    def start_requests(self):
        yield scrapy.Request(url= 'https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4',
            callback= self.parse, headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'})

    def parse(self, response):
        for product in response.xpath("//ul[@class='c-listing__items']/li"):
            yield{
                'title':product.xpath(".//a[@class='js-product-url']/text()").get(),
                'star':product.xpath(".//div[@class='c-product-box__engagement-rating']/text()").get(),
                'discounted_percent':product.xpath(".//div[@class='c-price__discount-oval']/span/text()").get(),
                'discounted_price':product.xpath(".//div[@class='c-price__value-wrapper']/text()").get(),
                'original_price':product.xpath(".//div[@class='c-price__value c-price__value--plp']/del/text()").get(),
                'url':response.urljoin(product.xpath(".//a[@class='js-product-url']/@href").get())
            }

        next_page=response.xpath("//a[@class='c-pager__next']/@href").get()
        if next_page:
            yield scrapy.Request(url=next_page, callback=self.parse, headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'})

在最后一部分中，为下一页按钮加上response.follow或response.urljoin使用绝对URL也没有帮助。我的意思是，更改下面代码的最后一部分也无济于事：

next_page=response.xpath("//html/body/main/div[2]/div/div[1]/div/div[2]/div/article/div/div[3]/ul/li[8]/a/@href").get()
if next_page:
    yield response.follow(url=next_page, callback=self.parse, headers={'User-Agent': 
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
        Chrome/84.0.4147.125 Safari/537.36'})

有人能帮我解决分页问题吗

谢谢

顺便说一下，这是我在运行答案1中的代码后得到的日志：

2020-08-19 08:35:29 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: digikala)
2020-08-19 08:35:29 [scrapy.utils.log] INFO: Versions: lxml 4.5.2.0, libxml2 2.9.10, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 20.3.0, Python 3.8.5 (default, Aug  5 2020, 09:44:06) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1g  21 Apr 2020), cryptography 2.9.2, Platform Windows-10-10.0.19041-SP0
2020-08-19 08:35:29 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'digikala', 'FEED_FORMAT': 'csv', 'FEED_URI': 'dataset1.csv', 'NEWSPIDER_MODULE': 'digikala.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['digikala.spiders']}
2020-08-19 08:35:29 [scrapy.extensions.telnet] INFO: Telnet Password: 7e28ac39aab69aaa
2020-08-19 08:35:29 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.feedexport.FeedExporter',
 'scrapy.extensions.logstats.LogStats']
2020-08-19 08:35:29 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-08-19 08:35:29 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-08-19 08:35:29 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2020-08-19 08:35:29 [scrapy.core.engine] INFO: Spider opened
2020-08-19 08:35:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-08-19 08:35:29 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-08-19 08:35:32 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https://www.digikala.com/robots.txt> (failed 1 times): 500 Internal Server Error
2020-08-19 08:35:33 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https://www.digikala.com/robots.txt> (failed 2 times): 500 Internal Server Error
2020-08-19 08:35:33 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET https://www.digikala.com/robots.txt> (failed 3 times): 500 Internal Server Error
2020-08-19 08:35:33 [scrapy.core.engine] DEBUG: Crawled (500) <GET https://www.digikala.com/robots.txt> (referer: None)
2020-08-19 08:35:34 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4> (referer: None)
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب تختخوابت را مرتب کن اثر ژنرال ویلیام اچ. مک ریون', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': '\n                                    ٪۱۰\n                                         ', 'discounted_price': '\n                                    ۱۳,۵۰۰ ', 'original_price': '۱۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-392946/کتاب-تختخوابت-را-مرتب-کن-اثر-ژنرال-ویلیام-اچ-مک-ریون'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب خودت را به فنا نده اثر گری جان بیشاپ', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': '\n                                    ٪۲۹\n                                         ', 'discounted_price': '\n                                    ۱۲,۷۰۰ ', 'original_price': '۱۸,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-1050124/کتاب-خودت-را-به-فنا-نده-اثر-گری-جان-بیشاپ'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب قانون 5 ثانیه اثر مل رابینز نشر نوین', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-1505778/%DA%A9%D8%AA%D8%A7%D8%A8-%D9%82%D8%A7%D9%86%D9%88%D9%86-5-%D8%AB%D8%A7%D9%86%DB%8C%D9%87-%D8%A7%D8%AB%D8%B1-%D9%85%D9%84-%D8%B1%D8%A7%D8%A8%DB%8C%D9%86%D8%B2-%D9%86%D8%B4%D8%B1-%D9%86%D9%88%DB%8C%D9%86?variant_id=3853061&ads_cookie=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ0eXBlIjoic3BvbnNvcmVkIiwiaWQiOjIzNTE4MCwidmFyaWFudF9pZCI6Mzg1MzA2MSwiZXhwaXJlX2F0IjoxNjAwNDg4MzMzfQ.1Mh5KnFzmaQyP-dW73x3Ik7xkdXaaYWyktov9XTE8rQ&click_expire=1'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب ای کاش وقتی 20 ساله بودم می دانستم اثر تینا سیلیگ', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۱۵\n                                         ', 'discounted_price': '\n                                    ۲۹,۰۰۰ ', 'original_price': '۳۴,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-222291/کتاب-ای-کاش-وقتی-20-ساله-بودم-می-دانستم-اثر-تینا-سیلیگ'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب چهار اثر از فلورانس اسکاول شین\xa0اثر فلورانس اسکاول شین نشر پیکان', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۲۵\n                                         ', 'discounted_price': '\n                                    ۴۸,۹۰۰ ', 'original_price': '۶۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-2696368/کتاب-چهار-اثر-از-فلورانس-اسکاول-شین-اثر-فلورانس-اسکاول-شین-نشر-پیکان'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب شرمنده نباش دختر اثر ریچل هالیس نشر کتاب کوله پشتی', 'star': '\n                            ۴.۶\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۰,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-1556940/کتاب-شرمنده-نباش-دختر-اثر-ریچل-هالیس-نشر-کتاب-کوله-پشتی'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب هنر شفاف اندیشیدن اثر رولف دوبلی', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': '\n                                    ٪۱۰\n                                         ', 'discounted_price': '\n                                    ۵۸,۴۰۰ ', 'original_price': '۶۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-82937/کتاب-هنر-شفاف-اندیشیدن-اثر-رولف-دوبلی'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب زنان زیرک اثر شری آرگو', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۳,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-413298/کتاب-زنان-زیرک-اثر-شری-آرگو'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب قانون جذب اثر راندا برن نشر نیک فرجام', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۶۰\n                                         ', 'discounted_price': '\n                                    ۱۸,۰۸۰ ', 'original_price': '۴۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-1598779/کتاب-قانون-جذب-اثر-راندا-برن-نشر-نیک-فرجام'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب نیمه تاریک وجود اثر دبی فورد نشر آتیسا', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۵۹\n                                         ', 'discounted_price': '\n                                    ۱۸,۹۰۰ ', 'original_price': '۴۶,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-1111023/کتاب-نیمه-تاریک-وجود-اثر-دبی-فورد-نشر-آتیسا'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب کاش وقتی بیست ساله بودم می دانستم اثر تینا سیلیگ نشر میلکان', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': '\n                                    ٪۲۲\n                                         ', 'discounted_price': '\n                                    ۲۷,۲۶۰ ', 'original_price': '۳۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-2163319/کتاب-کاش-وقتی-بیست-ساله-بودم-می-دانستم-اثر-تینا-سیلیگ-نشر-میلکان'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب حکایت دولت و فرزانگی اثر مارک فیشر', 'star': '\n                            ۴.۶\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۱۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-174855/کتاب-حکایت-دولت-و-فرزانگی-اثر-مارک-فیشر'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب از حال بد به حال خوب اثر دیوید برنز', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۹۰,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-211336/کتاب-از-حال-بد-به-حال-خوب-اثر-دیوید-برنز'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب پدر پولدار، پدر بی پول اثر رابرت کیوساکی', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۲۵\n                                         ', 'discounted_price': '\n                                    ۳۶,۰۰۰ ', 'original_price': '۴۸,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-38248/کتاب-پدر-پولدار-پدر-بی-پول-اثر-رابرت-کیوساکی'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب برتری خفیف اثر جف اولسون', 'star': '\n                            ۴.۵\n                            ', 'discounted_percent': '\n                                    ٪۱۳\n                                         ', 'discounted_price': '\n                                    ۳۹,۱۰۰ ', 'original_price': '۴۵,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-141776/کتاب-برتری-خفیف-اثر-جف-اولسون'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب اسرار ذهن ثروتمند اثر تی. هارو اکر', 'star': '\n                            ۴.۶\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۹,۹۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-38199/کتاب-اسرار-ذهن-ثروتمند-اثر-تی-هارو-اکر'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب عیبی ندارد اگر حالت خوش نیست اثر مگان دیواین نشر میلکان', 'star': '\n                            ۴.۶\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-2295613/کتاب-عیبی-ندارد-اگر-حالت-خوش-نیست-اثر-مگان-دیواین-نشر-میلکان'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب به بچه ها گفتن، از بچه ها شنیدن 1 (گفت و شنود با کودکان)', 'star': '\n                            ۴.۴\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۵۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-40926/کتاب-به-بچه-ها-گفتن-از-بچه-ها-شنیدن-1-گفت-و-شنود-با-کودکان'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب تحلیل رفتار متقابل اثر اریک برن', 'star': '\n                            ۴.۲\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۶۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-191367/کتاب-تحلیل-رفتار-متقابل-اثر-اریک-برن'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب پاکسازی ضمیر اثر دبی فورد انتشارات آتیسا', 'star': '\n                            ۴.۳\n                            ', 'discounted_percent': '\n                                    ٪۶۵\n                                         ', 'discounted_price': '\n                                    ۱۶,۲۶۰ ', 'original_price': '۴۶,۰۰۰', 'url': 'https://www.digikala.com/product/dkp-1647566/کتاب-پاکسازی-ضمیر-اثر-دبی-فورد-انتشارات-آتیسا'}
2020-08-19 08:35:35 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4>
{'title': 'کتاب فلسفه تنهایی اثر لارس اسونسن نشر نو', 'star': '\n                            ۴.۳\n                            ', 'discounted_percent': None, 'discounted_price': '\n                                    ۳۵,۰۰۰ ', 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-1109645/کتاب-فلسفه-تنهایی-اثر-لارس-اسونسن-نشر-نو'}
2020-08-19 08:35:36 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62> (referer: https://www.digikala.com/search/category-book/?type[0]=4844&promotion_types[0]=promotion&pageno=1&last_filter=type&last_value=4844&sortby=4)
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب ماساژ آیورودیک اثر هریش جوهری انتشارات سفیر اردهال', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-2957437/کتاب-ماساژ-آیورودیک-اثر-هریش-جوهری-انتشارات-سفیر-اردهال'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب انسان های موفق چگونه می اندیشند اثر جان سی مکس ول', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-178649/کتاب-انسان-های-موفق-چگونه-می-اندیشند-اثر-جان-سی-مکس-ول'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب سمینار تصویری آموزشی اثر برایان تریسی', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-242658/کتاب-سمینار-تصویری-آموزشی-اثر-برایان-تریسی'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب تا نغمه ای در دل دارید باید زنده بمانید اثر سرنا دایر،وین دایر', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-247582/کتاب-تا-نغمه-ای-در-دل-دارید-باید-زنده-بمانید-اثر-سرنا-دایروین-دایر'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب اینترنت با مغز ما چه می کند اثر نیکلاس کار', 'star': '\n                            ۴.۳\n                            ', 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-143243/کتاب-اینترنت-با-مغز-ما-چه-می-کند-اثر-نیکلاس-کار'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب به چشمک های خداوند توجه کن اثر اسکوایر راشنل', 'star': '\n                            ۵\n                            ', 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-271643/کتاب-به-چشمک-های-خداوند-توجه-کن-اثر-اسکوایر-راشنل'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب گانگ هو، مدیریت شگفت انگیز اثر کنت بلانچارد\xa0نشر نسل نواندیش', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-41160/کتاب-گانگ-هو-مدیریت-شگفت-انگیز-اثر-کنت-بلانچارد-نشر-نسل-نواندیش'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب راز شادابی کودکان اثر استیو بیدالف', 'star': '\n                            ۳\n                            ', 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-71210/کتاب-راز-شادابی-کودکان-اثر-استیو-بیدالف'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب زندگی مثبت اثر کارن ریویچ،اندرو شاته', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-242600/کتاب-زندگی-مثبت-اثر-کارن-ریویچاندرو-شاته'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب آموزش محبت آمیز کودکان اثر دکتر مارشال روزنبرگ', 'star': '\n                            ۴\n                            ', 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-345552/کتاب-آموزش-محبت-آمیز-کودکان-اثر-دکتر-مارشال-روزنبرگ'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب آینده خود را خلق کنید اثر برایان تریسی', 'star': '\n                            ۴\n                            ', 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-38192/کتاب-آینده-خود-را-خلق-کنید-اثر-برایان-تریسی'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب پیام تن اثر ترز برترا و کارول برنشتاین نشر آسیم', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-2329294/کتاب-پیام-تن-اثر-ترز-برترا-و-کارول-برنشتاین-نشر-آسیم'}
2020-08-19 08:35:36 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.digikala.com/search/category-book/?type%5B0%5D=4844&promotion_types%5B0%5D=promotion&last_filter=type&last_value=4844&sortby=4&pageno=62>
{'title': 'کتاب قدرت همزمانی اثر دیوید ریکو نشر افکار', 'star': None, 'discounted_percent': None, 'discounted_price': None, 'original_price': None, 'url': 'https://www.digikala.com/product/dkp-2270633/کتاب-قدرت-همزمانی-اثر-دیوید-ریکو-نشر-افکار'}
2020-08-19 08:35:36 [scrapy.core.engine] INFO: Closing spider (finished)
2020-08-19 08:35:36 [scrapy.extensions.feedexport] INFO: Stored csv feed (54 items) in: dataset1.csv
2020-08-19 08:35:36 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 1829,
 'downloader/request_count': 5,
 'downloader/request_method_count/GET': 5,
 'downloader/response_bytes': 173357,
 'downloader/response_count': 5,
 'downloader/response_status_count/200': 2,
 'downloader/response_status_count/500': 3,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2020, 8, 19, 4, 5, 36, 263555),
 'item_scraped_count': 54,
 'log_count/DEBUG': 60,
 'log_count/INFO': 10,
 'request_depth_max': 1,
 'response_received_count': 3,
 'retry/count': 2,
 'retry/max_reached': 1,
 'retry/reason_count/500 Internal Server Error': 2,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/500': 1,
 'scheduler/dequeued': 2,
 'scheduler/dequeued/memory': 2,
 'scheduler/enqueued': 2,
 'scheduler/enqueued/memory': 2,
 'start_time': datetime.datetime(2020, 8, 19, 4, 5, 29, 409327)}
2020-08-19 08:35:36 [scrapy.core.engine] INFO: Spider closed (finished)

2020-08-19 08:35:29[scrapy.utils.log]信息：scrapy 1.6.0已启动（机器人程序：digikala）
2020-08-19 08:35:29[scrapy.utils.log]信息：版本：lxml 4.5.2.0，libxml2.9.10，cssselect 1.1.0，parsel 1.5.2，w3lib 1.21.0，Twisted 20.3.0，Python 3.8.5（默认，2020年8月5日09:44:06）[MSC v.1916 64位（AMD64位）]，pyOpenSSL 19.1.0（OpenSSL 1.1.1g 2020年4月21日），密码学2.9.2，平台Windows-10-10.0.19041-SP0
2020-08-19 08:35:29[scrapy.crawler]信息：覆盖的设置：{'BOT_NAME'：'digikala'，'FEED_FORMAT'：'csv'，'FEED_URI'：'dataset1.csv'，'NEWSPIDER_MODULE'：'digikala.SPIDER'，'ROBOTSTXT_-obe'：True，'SPIDER_MODULES'：['digikala.SPIDER']
2020-08-19 08:35:29[scrapy.extensions.telnet]信息：telnet密码：7e28ac39aab69aaa
2020-08-19 08:35:29[scrapy.middleware]信息：启用的扩展：
['scrapy.extensions.corestats.corestats'，
'scrapy.extensions.telnet.TelnetConsole'，
'scrapy.extensions.feedexport.FeedExporter'，
'scrapy.extensions.logstats.logstats']
2020-08-19 08:35:29[scrapy.middleware]信息：已启用的下载程序中间件：
['scrapy.downloaderMiddleware.robotstxt.RobotsTxtMiddleware'，
'scrapy.downloaderMiddleware.httpauth.HttpAuthMiddleware'，
'scrapy.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware'，
'scrapy.downloaderMiddleware.defaultheaders.DefaultHeadersMiddleware'，
'scrapy.DownloaderMiddleware.useragent.UserAgentMiddleware'，
'scrapy.DownloaderMiddleware.retry.RetryMiddleware'，
'scrapy.DownloaderMiddleware.redirect.MetaRefreshMiddleware'，
'scrapy.DownloaderMiddleware.httpcompression.HttpCompressionMiddleware'，
'scrapy.DownloaderMiddleware.redirect.RedirectMiddleware'，
“scrapy.DownloaderMiddleware.cookies.CookiesMiddleware”，
'scrapy.downloadermiddleware.httpproxy.HttpProxyMiddleware'，
'scrapy.downloadermiddleware.stats.DownloaderStats']
2020-08-19 08:35:29[scrapy.middleware]信息：启用的蜘蛛中间件：
['scrapy.spidermiddleware.httperror.httperror中间件'，
'刮皮.SpiderMiddleware.场外.场外Iddleware'，
“scrapy.Spidermiddleware.referer.RefererMiddleware”，
'scrapy.spiderMiddleware.urllength.UrlLengthMiddleware'，
'scrapy.spidermiddleware.depth.DepthMiddleware']
2020-08-19 08:35:29[scrapy.middleware]信息：启用的项目管道：
[]
2020-08-19 08:35:29[刮屑.堆芯.发动机]信息：十字轴已打开
2020-08-19 08:35:29[scrapy.extensions.logstats]信息：抓取0页（以0页/分钟的速度），抓取0项（以0项/分钟的速度）
2020-08-19 08:35:29[scrapy.extensions.telnet]信息：telnet控制台监听127.0.0.1:6023
2020-08-19 08:35:32[scrapy.downloadermiddleware.retry]调试：重试（失败1次）：500内部服务器错误
2020-08-19 08:35:33[scrapy.downloadermiddleware.retry]调试：重试（失败2次）：500内部服务器错误
2020-08-19 08:35:33[scrapy.downloadermiddleware.retry]调试：放弃重试（失败3次）：500内部服务器错误
2020-08-19 08:35:33[scrapy.core.engine]调试：爬网（500）（参考：无）
2020-08-19 08:35:34[scrapy.core.engine]调试：爬网（200）（参考：无）
2020-08-19 08:35:35[scrapy.core.scraper]调试：从
（标题标题标题）的标题标题：：，，，，[1575 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7“折扣价”：“\n”原价https://www.digikala.com/product/dkp-392946/کتاب-تختخوابت-را-مرتب-کن-اثر-ژنرال-ویلیام-اچ-مک-ریون'}
2020-08-19 08:35:35[scrapy.core.scraper]调试：从
（标题标题）标题名为：：“各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各۰۰۰'，原价：，网址：'https://www.digikala.com/product/dkp-1050124/کتاب-خودت-را-به-فنا-نده-اثر-گری-جان-بیشاپ'}
2020-08-19 08:35:35[scrapy.core.scraper]调试：从
（标题）标题名为“标题标题”的标题名为：：“各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各各无，“url”：https://www.digikala.com/product/dkp-1505778/%DA%A9%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%8%DGCIJIUZI1NIJ9.EYJ0EXBLI3CBVBNNVCMVKIIWIAWQIOJIZNTE4MCWIDF9PZCI6MZG1MZA2MSWIZHWAXJLX2F0IJoxNjAwNDg4MzMzfQ.1Mh5KnFzmaQyP-dW73x3Ik7xkdXaaYWyktov9XTE8rQ&单击_expire=1'}
2020-08-19 08:35:35[scrapy.core.scraper]调试：从
"标题:"20"(标题):"20(标题)(标题)(标题)(标题)(标题)(标题)20(标题)((标题)(标题)标题)20)(()()()()()((()标题))))))?
next_page=response.xpath("//a[@class='c-pager__next']/@href").get()
if next_page:
    yield scrapy.Request(response.urljoin(next_page), headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'})

next_page = response.xpath('//*[@class="c-pager__item is-active"]/../following-sibling::*//@href').extract_first()