Python 如何使用scrapy同时发出两个请求
我正在清理工作网站,那里的第一页是所有工作的链接。 现在我存储的标题,工作,公司从第一页 但是我还想存储描述,可以通过单击职务标题来获取。我想将其与当前项目一起存储 这是我现在的密码Python 如何使用scrapy同时发出两个请求,python,scrapy,Python,Scrapy,我正在清理工作网站,那里的第一页是所有工作的链接。 现在我存储的标题,工作,公司从第一页 但是我还想存储描述,可以通过单击职务标题来获取。我想将其与当前项目一起存储 这是我现在的密码 def parse(self, response): hxs = HtmlXPathSelector(response) sites = hxs.select("//div[@class='jobenteries']") items = [] for site in sites[:3
def parse(self, response):
hxs = HtmlXPathSelector(response)
sites = hxs.select("//div[@class='jobenteries']")
items = []
for site in sites[:3]:
print "Hello"
item = DmozItem()
item['title'] = site.select('a/text()').extract()
item['desc'] = ''
items.append(item)
return items
但下一页的链接上会有这样的描述。如何从第一页开始,返回第二页的请求并在request.meta dict中传递每个项目的数据。在第二页的回调方法中,您可以读取传递的数据并返回完全填充的项目
有关更多详细信息和示例,请参见scrapy docs中的。从第一页返回第二页的请求,并在request.meta dict中传递每个项目的数据。在第二页的回调方法中,您可以读取传递的数据并返回完全填充的项目 有关更多详细信息和示例,请参见scrapy文档中的