我如何才能让scrapy只下载几个URL，即使有几个URL需要抓取_Scrapy

我如何才能让scrapy只下载几个URL，即使有几个URL需要抓取

scrapy

我如何才能让scrapy只下载几个URL，即使有几个URL需要抓取,scrapy,Scrapy,是否有命令行开关或其他开箱即用的技巧来强制scrapy只下载几个URL（即使有更多可用的URL？）我目前正在使用下面的命令调用一个spider，并希望它在10次url检索后完成 scrapy crawl mySpider您可以将设置传递给scrapy： scrapy crawl mySpider -s CLOSESPIDER_PAGECOUNT=10 如果爬行器爬行超过10，爬行器将关闭，原因是closespider\u pagecount 太棒了！谢谢。这个特性是否有文档记录？查看了文档

是否有命令行开关或其他开箱即用的技巧来强制scrapy只下载几个URL（即使有更多可用的URL？）

我目前正在使用下面的命令调用一个spider，并希望它在10次url检索后完成

scrapy crawl mySpider

您可以将设置传递给

scrapy

：

scrapy crawl mySpider -s CLOSESPIDER_PAGECOUNT=10

如果爬行器爬行超过
```
10
```
，爬行器将关闭，原因是
```
closespider\u pagecount
```

太棒了！谢谢。这个特性是否有文档记录？查看了文档，但找不到anything@Jabb看看：