Python 我可以用Scrapy刮取整个页面，但使用xpath找不到DOM元素

我是Python的完全初学者，我想使用scrapy从中抓取一些图像

使用教程，我可以轻松获得整个页面：

with open('baiduImage.html', 'wb') as f:
    f.write(response.body)

这似乎是一个完整的页面，所有元素在Chrome中都表现得很好，但我没有使用它

f.write(response.xpath('/html/body').extract()[0].encode('utf8'))

---

为了得到一个完整的身体，它失去了所有的图像！我检查了一下文件，发现有一部分丢失了。我犯了什么错误吗？我想原因是页面是动态的。

是的，您没有在浏览器中看到相同的HTML的原因是页面是动态加载的，带有一组浏览器将应用的XHR调用和javascript逻辑

以下是您的选项：

• 使用而不是web抓取方法
• 用刮痧
• 借助
• 检查页面的加载方式，并模拟代码中发送的请求