Python 在多个网站上使用一个Scrapy spider

我需要创建一个用户可配置的WebSpider/crawler，我正在考虑使用Scrapy。但是，我不能硬编码域和允许的URL regex:es——这将在GUI中进行配置

---

我如何（尽可能简单地）创建一个spider或一组具有Scrapy的spider，其中域和允许的URL regex:es是可动态配置的？例如，我将配置写入一个文件，蜘蛛以某种方式读取它。

无耻的自我提升！您需要为您的项目实例化示例中给出的爬虫程序

---

您还需要在运行时配置爬虫程序，这只是将配置传递给爬虫程序，并在配置更改时覆盖运行时的设置

您需要的是动态创建spider类，按照

scrapy

提供的方式对您最喜欢的通用spider类进行子类化（

CrawlSpider

添加了

规则的子类，或
XmlFeedSpider
，或其他内容），并添加
域名
，
开始URL
，以及可能的
额外域名
（和/或
启动请求（）
，等等），因为您可以从GUI（或配置文件，或其他）中获取或推断它们

Python使类对象的动态创建变得容易；一个非常简单的例子可能是：

from scrapy import spider

def makespider(domain_name, start_urls,
               basecls=spider.BaseSpider):
  return type(domain_name + 'Spider',
              (basecls,),
              {'domain_name': domain_name,
               'start_urls': start_urls})

allspiders = []
for domain, urls in listofdomainurlpairs:
  allspiders.append(makespider(domain, urls))

这将为您提供一个非常简单的spider类列表——您可能希望在实例化它们之前向它们添加
parse
方法。调味…；-）
 警告：这个答案是针对Scrapy v0.7的，自那时以来，spider manager api发生了很大变化。

重写默认SpiderManager类，从数据库或其他地方加载自定义规则，并使用自己的规则/正则表达式和域名实例化自定义spider

在mybot/settings.py中：

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot/spidermanager.py中：

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):
    loaded = True

    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass

    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在，您可以在mybot/spider.py中自定义spider类：

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes

     def parse(self, response):
         ...

注:


如果您想利用爬行蜘蛛的规则系统，也可以扩展爬行蜘蛛
要运行爬行器，请使用：
/scrapy-ctl.py crawl
，其中
名称
传递给SpiderManager.fromdomain，是从后端系统检索更多爬行器信息的关键
由于解决方案覆盖了默认的SpiderManager，所以编写一个经典的spider（每个spider一个python模块）是不可行的，但是，我认为这对您来说不是问题。有关默认spider管理器的详细信息
现在，为这些目的配置scrapy非常容易：

关于要访问的第一个URL，您可以使用
-a
在spider调用中将其作为属性传递，并使用
start\u requests
函数设置如何启动spider

您不需要为spider设置
允许的\u域
变量。如果不包括该类变量，spider将能够允许每个域

结果应该是：

class MySpider(Spider):

    name = "myspider"

    def start_requests(self):
        yield Request(self.start_url, callback=self.parse)


    def parse(self, response):
        ...

你应该用以下方式来称呼它：

scrapy crawl myspider -a start_url="http://example.com"

与Alex Martelli方法的不同之处在于，spider是按需实例化的，而不是为了使用一个spider而预先实例化所有spider。这种方法可以减少后端的负载和scrapy bot进程的内存占用。我如何为每个自定义spider（项目管道、用户代理等）指定设置？您还提到了
/scrapy-ctl.py crawl
。什么是scrapy ctl.py

？@Christian Davén:你的问题的答案不可以接受吗？这个代码会存在于哪里？我试图将爬虫类动态地添加到我的爬行器模块中，但scrapy并没有接收它们。