Python 使用scrapy生成多个起始点请求
我正在使用以下代码(简化): 我想循环遍历一个db表,获取每个scrape的起始页(random_form_page),然后为每个起始页生成一个请求。在我的代码中,我可以看到,尽管它循环了8次,但它只生成对第一个起始页的请求。我做错了什么?您应该使用而不是Python 使用scrapy生成多个起始点请求,python,scrapy,Python,Scrapy,我正在使用以下代码(简化): 我想循环遍历一个db表,获取每个scrape的起始页(random_form_page),然后为每个起始页生成一个请求。在我的代码中,我可以看到,尽管它循环了8次,但它只生成对第一个起始页的请求。我做错了什么?您应该使用而不是parse(): 如果设置了start\u url,您也应该省略它。您应该使用而不是parse(): 如果设置了start\u url,则还应省略它 def parse(self, response): print('hello')
parse()
:
如果设置了start\u url
,您也应该省略它。您应该使用而不是parse()
:
如果设置了start\u url
,则还应省略它
def parse(self, response):
print('hello')
for x in xrange(8):
print x
random_form_page = session.query(....
PR = Request(
'htp://my-api',
headers=self.headers,
meta={'newrequest': Request(random_form_page, headers=self.headers)},
callback=self.parse_PR
)
yield PR
def start_requests(self):
for x in xrange(8):
random_form_page = session.query(....
PR = Request(
'htp://my-api',
headers=self.headers,
meta={'newrequest': Request(random_form_page, headers=self.headers)},
callback=self.parse_PR
)
yield PR