Scrapy中不同起始URL的不同解析函数
Scrapy可以为每个起始URL设置不同的解析函数吗 这是一段伪代码:Scrapy中不同起始URL的不同解析函数,scrapy,Scrapy,Scrapy可以为每个起始URL设置不同的解析函数吗 这是一段伪代码: start_urls = [ "http://111sssssssss.com", "http://222sssssssssssss.com", "http://333sssssssssss.com", "http://444sssssssss.com", ] def parse_1(): '''some code, this function will crawl htt
start_urls = [
"http://111sssssssss.com",
"http://222sssssssssssss.com",
"http://333sssssssssss.com",
"http://444sssssssss.com",
]
def parse_1():
'''some code, this function will crawl http://111sssssssss.com'''
def parse_2():
'''some code, this function will crawl http://222sssssssssssss.com'''
有什么方法可以做到这一点吗?您可以重写/实现
parse_start_url
函数,当响应.url
满足您的条件时(在本例中,它是正确的url),调用parse_1
或parse_2
有关
parse\u start\u url()
read.的更多信息,我想知道Scrapy是否有内置方法,但你的想法仍然不错。Thk U
def parse_start_url(response):
if response.url == 'http://111sssssssss.com':
parse_1(response)
if response.url == 'http://222sssssssssssss.com':
parse_2(response)