Web scraping 如何使用DepthMiddleware中的深度值?
我有一个广泛的爬虫,递归地浏览网站,我想实现一个分层系统,随着网页远离原始的种子url而增加Web scraping 如何使用DepthMiddleware中的深度值?,web-scraping,scrapy,Web Scraping,Scrapy,我有一个广泛的爬虫,递归地浏览网站,我想实现一个分层系统,随着网页远离原始的种子url而增加 例如,如果我从stackoverflow.com开始,则可以从http://stackoverflow.com的层值为1,而stackoverflow.com作为种子url的层值为0 响应的深度级别可通过response.meta['depth']获得
例如,如果我从
stackoverflow.com
开始,则可以从http://stackoverflow.com
的层值为1,而stackoverflow.com
作为种子url的层值为0 响应的深度级别可通过response.meta['depth']
获得