Python 2.7 从不同的页面填充相同的项目,而不在页面之间直接连接。发痒的

Python 2.7 从不同的页面填充相同的项目,而不在页面之间直接连接。发痒的,python-2.7,scrapy,scrapy-spider,Python 2.7,Scrapy,Scrapy Spider,我需要刮着陆页和一些网页,从这个着陆页起源。并将所有数据保存到同一项目中。原始页面本身之间不连接。可用的方法是什么?有没有什么方法可以让我加载生成的项目并向其中添加一些信息? 我能想到的是在蜘蛛身上发起一个dict,但这似乎是一个非常糟糕的主意。 下面是一个更好理解的模式。对不起我的绘画技巧 假设我在谷歌第1页上创建了一个项目,并将其作为元数据发送到所有其他链接。来自所有4个链接的项目是否会一起生成包含来自5个URL的信息的完整项目?确定。所以我想出了两个解决办法 解决方案1。正如在原始帖子中

我需要刮着陆页和一些网页,从这个着陆页起源。并将所有数据保存到同一项目中。原始页面本身之间不连接。可用的方法是什么?有没有什么方法可以让我加载生成的项目并向其中添加一些信息? 我能想到的是在蜘蛛身上发起一个dict,但这似乎是一个非常糟糕的主意。 下面是一个更好理解的模式。对不起我的绘画技巧


假设我在谷歌第1页上创建了一个项目,并将其作为元数据发送到所有其他链接。来自所有4个链接的项目是否会一起生成包含来自5个URL的信息的完整项目?

确定。所以我想出了两个解决办法

解决方案1。正如在原始帖子中发布的一样,通过meta将项目发送到所有链接,并将字典值添加到相同的项目字段中。说项['links_info']={}。因此,每个页面都将有自己的键和数据分配给该项dict

解决方案2。将需要访问的所有链接保存到列表中。每次从这个列表中查找1个url,并通过meta传递其余的url。也传递项目

第一个看起来更容易实现