使用Scrapy跟踪独子链接

使用Scrapy跟踪独子链接,scrapy,Scrapy,我是Scrapy的新手,我不知道如何告诉它只关注当前url的子页面链接。例如,如果您在这里: www.test.com/abc/def 然后我想让scrapy跟我说: www.test.com/abc/def/ghi www.test.com/abc/def/jkl www.test.com/abc/def/* 但不是: www.test.com/abc/* www.test.com/* 或任何其他相关领域。 在BaseSpider上编写一个spider派生。在basespider解析回调

我是Scrapy的新手,我不知道如何告诉它只关注当前url的子页面链接。例如,如果您在这里:

www.test.com/abc/def
然后我想让scrapy跟我说:

www.test.com/abc/def/ghi
www.test.com/abc/def/jkl
www.test.com/abc/def/*
但不是:

www.test.com/abc/*
www.test.com/*
或任何其他相关领域。

在BaseSpider上编写一个spider派生。在basespider解析回调中,您需要返回需要执行的请求。只需确保生成的请求是您喜欢的格式。i、 e.从使用的响应中提取的url是当前url的子级(这将是响应url)。并创建一个请求对象,并将其返回