Python 如何使用scrapy同时发出两个请求

Python 如何使用scrapy同时发出两个请求,python,scrapy,Python,Scrapy,我正在清理工作网站,那里的第一页是所有工作的链接。 现在我存储的标题,工作,公司从第一页 但是我还想存储描述,可以通过单击职务标题来获取。我想将其与当前项目一起存储 这是我现在的密码 def parse(self, response): hxs = HtmlXPathSelector(response) sites = hxs.select("//div[@class='jobenteries']") items = [] for site in sites[:3

我正在清理工作网站,那里的第一页是所有工作的链接。 现在我存储的标题,工作,公司从第一页

但是我还想存储描述,可以通过单击职务标题来获取。我想将其与当前项目一起存储

这是我现在的密码

def parse(self, response):
    hxs = HtmlXPathSelector(response)
    sites = hxs.select("//div[@class='jobenteries']")
    items = []
    for site in sites[:3]:
        print "Hello"
        item = DmozItem()
        item['title'] = site.select('a/text()').extract()
        item['desc'] = ''
        items.append(item)
    return items

但下一页的链接上会有这样的描述。如何从第一页开始,返回第二页的请求并在request.meta dict中传递每个项目的数据。在第二页的回调方法中,您可以读取传递的数据并返回完全填充的项目


有关更多详细信息和示例,请参见scrapy docs中的。

从第一页返回第二页的请求,并在request.meta dict中传递每个项目的数据。在第二页的回调方法中,您可以读取传递的数据并返回完全填充的项目

有关更多详细信息和示例,请参见scrapy文档中的