Python 2.7 如何设置Scrapy并使其逐个爬行?

Python 2.7 如何设置Scrapy并使其逐个爬行?,python-2.7,scrapy,Python 2.7,Scrapy,如何设置Scrapy并使其逐个爬行?首先,请查看下面的代码: def parse(self, response): movies = Movie.query.filter(Movie.rating_num>6).all() for m in movies: url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P"

如何设置Scrapy并使其逐个爬行?首先,请查看下面的代码:

def parse(self, response):
        movies = Movie.query.filter(Movie.rating_num>6).all()
        for m in movies:
            url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P"
            yield Request(url, self.parse_comment)
当我运行这个爬行器时,它在同一时刻抓取了多个URL。事实上,我要抓取的站点就是这样防御的。所以我想知道是否有一个设置可以将scrapy逐个设置为craw URL?

您可以在设置中将和都设置为1