Python 使用scrapy生成多个起始点请求

Python 使用scrapy生成多个起始点请求,python,scrapy,Python,Scrapy,我正在使用以下代码(简化): 我想循环遍历一个db表,获取每个scrape的起始页(random_form_page),然后为每个起始页生成一个请求。在我的代码中,我可以看到,尽管它循环了8次,但它只生成对第一个起始页的请求。我做错了什么?您应该使用而不是parse(): 如果设置了start\u url,您也应该省略它。您应该使用而不是parse(): 如果设置了start\u url,则还应省略它 def parse(self, response): print('hello')

我正在使用以下代码(简化):

我想循环遍历一个db表,获取每个scrape的起始页(random_form_page),然后为每个起始页生成一个请求。在我的代码中,我可以看到,尽管它循环了8次,但它只生成对第一个起始页的请求。我做错了什么?

您应该使用而不是
parse()

如果设置了
start\u url
,您也应该省略它。

您应该使用而不是
parse()

如果设置了
start\u url
,则还应省略它

def parse(self, response):

    print('hello')
    for x in xrange(8): 
        print x

        random_form_page = session.query(....


        PR = Request(
            'htp://my-api',
            headers=self.headers,
            meta={'newrequest': Request(random_form_page,  headers=self.headers)},
            callback=self.parse_PR
        )
        yield PR
def start_requests(self):
    for x in xrange(8): 
        random_form_page = session.query(....

        PR = Request(
            'htp://my-api',
            headers=self.headers,
            meta={'newrequest': Request(random_form_page,  headers=self.headers)},
            callback=self.parse_PR
        )
        yield PR