Web crawler 制作一个蜘蛛来只下载特定的页面

Web crawler 制作一个蜘蛛来只下载特定的页面,web-crawler,scrapy,Web Crawler,Scrapy,需要有scrapy和python经验的人的帮助。如何将spider配置为只下载页面正文中包含一些单词的页面?Scrapy提供了一种使用筛选内容的方法,您可以编写自定义管道,使其删除所有不包含您要查找的单词的内容。你可以在这里看到一个例子。你的问题没有意义。如果不下载页面,您如何知道页面是否包含特定单词?

需要有scrapy和python经验的人的帮助。如何将spider配置为只下载页面正文中包含一些单词的页面?

Scrapy提供了一种使用筛选内容的方法,您可以编写自定义管道,使其删除所有不包含您要查找的单词的内容。你可以在这里看到一个例子。

你的问题没有意义。如果不下载页面,您如何知道页面是否包含特定单词?