Web scraping 如何使用DepthMiddleware中的深度值?

Web scraping 如何使用DepthMiddleware中的深度值?,web-scraping,scrapy,Web Scraping,Scrapy,我有一个广泛的爬虫,递归地浏览网站,我想实现一个分层系统,随着网页远离原始的种子url而增加 例如,如果我从stackoverflow.com开始,则可以从http://stackoverflow.com的层值为1,而stackoverflow.com作为种子url的层值为0 响应的深度级别可通过response.meta['depth']获得

我有一个广泛的爬虫,递归地浏览网站,我想实现一个分层系统,随着网页远离原始的种子url而增加


例如,如果我从
stackoverflow.com
开始,则可以从
http://stackoverflow.com
的层值为1,而
stackoverflow.com
作为种子url的层值为0

响应的深度级别可通过
response.meta['depth']
获得