Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/288.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 刮痧跟随&;刮下几页_Python_Python 2.7_Web Scraping_Scrapy - Fatal编程技术网

Python 刮痧跟随&;刮下几页

Python 刮痧跟随&;刮下几页,python,python-2.7,web-scraping,scrapy,Python,Python 2.7,Web Scraping,Scrapy,我遇到了一个问题,我的刮痧蜘蛛不会爬一个网站,只会刮一个页面然后抓取。我的印象是规则成员变量导致了这种情况,但我无法让它遵循任何链接。我一直在遵循以下文件: 我会错过什么让我的机器人无法爬行 from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.linkextractors import LinkExtractor from scrapy.selector import Selector from Ex

我遇到了一个问题,我的刮痧蜘蛛不会爬一个网站,只会刮一个页面然后抓取。我的印象是
规则
成员变量导致了这种情况,但我无法让它遵循任何链接。我一直在遵循以下文件:

我会错过什么让我的机器人无法爬行

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.selector import Selector

from Example.items import ExItem

class ExampleSpider(CrawlSpider):
    name = "example"
    allowed_domains = ["example.ac.uk"]
    start_urls = (
        'http://www.example.ac.uk',
    )

    rules = ( Rule (LinkExtractor(allow=("", ),),
                    callback="parse_items",  follow= True),
    )

用以下规则替换您的规则:

rules = ( Rule(LinkExtractor(allow=('course-finder', ),restrict_xpaths=('//div[@class="pagination"]',)), callback='parse_items',follow=True), )

你有错误吗?你能发布你试图爬网的网站的实际链接吗?不,一点错误都没有。“解析项目”功能也可以使用。你能发布网站链接吗?我刚刚尝试了你的代码,它对我很好。你能把日志贴出来吗?…我想你不明白。它工作正常,只是不会转到下一页并开始刮。无论如何谢谢你的帮助