Python 从url(url)发出请求

Python 从url(url)发出请求,python,web-crawler,scrapy,Python,Web Crawler,Scrapy,在Scrapy教程中,BaseSpider有以下方法: 接收URL和 返回一个请求对象(或 请求对象)以进行刮取 此方法用于构造 第一阶段的初步请求 start_requests()方法,并且 通常用于将URL转换为 请求 除非重写,否则此方法将返回 使用parse()方法的请求如下所示 它们的回调函数,以及 不启用过滤器参数(请参阅 请求类获取更多信息) 你明白这个方法的作用吗?我可以使用来自url和BaseSpider的MakeRequests而不是不适合我的SGMLLinkedExtra

在Scrapy教程中,BaseSpider有以下方法:

接收URL和 返回一个请求对象(或 请求对象)以进行刮取

此方法用于构造 第一阶段的初步请求 start_requests()方法,并且 通常用于将URL转换为 请求

除非重写,否则此方法将返回 使用parse()方法的请求如下所示 它们的回调函数,以及 不启用过滤器参数(请参阅 请求类获取更多信息)

你明白这个方法的作用吗?我可以使用来自url和BaseSpider的MakeRequests而不是不适合我的SGMLLinkedExtractor和ScraweSpider吗

我试图抓取比给定初始url更多的内容,而Scrapy没有这样做

谢谢

没错,在很多情况下,它是有用和方便的,但它只涵盖了所有可能的spider的子集。如果您需要更复杂的东西,您通常会对该方法进行子类化和实现