Python 使用Scrapy抓取ajax页面

我用刮痧一个月了。我能够根据管道中给出的关键字抓取和刮取几个网站（事实上我已经抓取了900个网站）。现在，问题是当我们遇到javapages（ajax）时，scrapy不会刮取。我正在尝试使用以下代码，并进行适当的更改以刮取ajax页面

你们有什么好主意用scrapy抓取javapages吗

---

第二个问题，我面临的是scrapy不刮登录页面

首先监视使用ajax发送的请求（为此使用fiddler或firefox firebug），然后在scrapy中发出类似请求，它将带来响应

---

我不明白你所说的“刮刮不刮登录页面”是什么意思：

---

这是否意味着您不能删除需要您登录的页面或登录页面本身

您能否更具体地说明删除登录页面时遇到的问题？提供您正在使用的代码和url。@alecxe。这是我的蜘蛛代码@StevenAlmeroth。我正在尝试使用下载中间件设置，但在**导入gtk**时出错。错误：来自glib.\u glib导入*导入错误：DLL加载失败：无法启动指定的过程“scrapy不刮登录页”。我的意思是说登录页本身。首先谢谢你的回复。我使用firebug来监视和记录xpath（使用ajax发送的请求）。我应该在我的scrpay项目中使用相同的xpath吗？是的，你可以在你的scrapy项目中使用相同的xpath！我想知道，如果你对如何删除登录页面有什么想法吗？好吧，我从来没有遇到过删除登录页面的任何问题，但是对于你的情况（在你尝试删除雅虎登录页面的情况下），首先转到这个作为起始url），然后使用xpath获取登录页面的url，在该url上发出请求，它将可用。这应该行得通