Python 痒痒的爬行蜘蛛不爬行

Python 痒痒的爬行蜘蛛不爬行,python,html,mongodb,scrapy,web-crawler,Python,Html,Mongodb,Scrapy,Web Crawler,我目前正在构建一个蜘蛛来提取乐器及其数据 为此,我使用了CrawlSpider,最终的结果是获取所有这些数据并按模型名将其放入mongoDB文档中。显然,我还没有完成,也没有达到这一点 编辑:我能够修复错误并使其运行:但现在爬虫程序对“0”页面进行爬网,并且不会将任何数据返回到它输出的csv文件中。可能是什么问题? 以下是我所拥有的: # -*- coding: utf-8 -*- import scrapy from scrapy.contrib.spiders import CrawlSpi

我目前正在构建一个蜘蛛来提取乐器及其数据

为此,我使用了CrawlSpider,最终的结果是获取所有这些数据并按模型名将其放入mongoDB文档中。显然,我还没有完成,也没有达到这一点

编辑:我能够修复错误并使其运行:但现在爬虫程序对“0”页面进行爬网,并且不会将任何数据返回到它输出的csv文件中。可能是什么问题?

以下是我所拥有的:

# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from scrapy.item import Item


class FenderSpider(CrawlSpider):
    name = "fender"
    allowed_domains = ["example.org/"]
    start_urls = (
        'http://www.example.org/fender/?ob=model_asc#results',
    )

    rules = (
    Rule(SgmlLinkExtractor(allow=('item\&pn=*', )), callback='parse_item'),
    )

    def parse_item(self, response):

    item = scrapy.Item()
    item['data'] = response.xpath('//span[@class="itemResult"]/text()').extract()
    return item
这是我的项目文件:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class MdbItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = 'MdbItem'
    Item = scrapy.Field()
   # company = scrapy.Field()
   # model = scrapy.Field()
   # model_name = scrapy.Field()
    #instrument_type = scrapy.Field()
   # year = scrapy.Field()
   # serial = scrapy.Field()
   # sku = scrapy.Field()
一切正常,但没有提取数据。我不明白为什么

有人能帮忙吗?
我正在学习Python和Scrapy,所以我是个新手

scrapy.CrawlSpider
替换为已从
scrapy.contrib.spider
导入的
CrawlSpider
,非常感谢,这完全解决了该问题。然而,现在我只剩下一个新的——爬行器似乎没有在爬行或提取数据。(忽略为回答上述问题所做的编辑,这是偶然的,只是一个评论)@page这是一个单独的问题,应该在单独的问题中解决。你不应该完全编辑这个问题-这里的事情不是这样的。好吧,我道歉。将创建一个新问题。