Scrapy中不同起始URL的不同解析函数

Scrapy中不同起始URL的不同解析函数,scrapy,Scrapy,Scrapy可以为每个起始URL设置不同的解析函数吗 这是一段伪代码: start_urls = [ "http://111sssssssss.com", "http://222sssssssssssss.com", "http://333sssssssssss.com", "http://444sssssssss.com", ] def parse_1(): '''some code, this function will crawl htt

Scrapy可以为每个起始URL设置不同的解析函数吗

这是一段伪代码:

    start_urls = [
    "http://111sssssssss.com",
    "http://222sssssssssssss.com",
    "http://333sssssssssss.com",
    "http://444sssssssss.com",
]


def parse_1():
    '''some code, this function will crawl http://111sssssssss.com'''


def parse_2():
    '''some code, this function will crawl http://222sssssssssssss.com'''

有什么方法可以做到这一点吗?

您可以重写/实现
parse_start_url
函数,当
响应.url
满足您的条件时(在本例中,它是正确的url),调用
parse_1
parse_2


有关
parse\u start\u url()
read.

的更多信息,我想知道Scrapy是否有内置方法,但你的想法仍然不错。Thk U
def parse_start_url(response):
    if response.url == 'http://111sssssssss.com':
        parse_1(response)
    if response.url == 'http://222sssssssssssss.com':
        parse_2(response)