使用scrapy或任何其他工具下载特定主题的PDF

我如何为scrapy编写一个搜索和下载研究论文的spider，比如“航空航天软件健康管理”。我已经阅读了从任何一个网站下载PDF、文件或图像的答案

---

但是我可以写一个蜘蛛吗？或者他们可以用其他方式在网上搜索某个主题并从不同的网站下载基于该主题的文档吗？

是的，pdf和其他任何页面都一样。尝试

scrapy shellhttp://example.com/file.pdf

并选中

response.body

您将看到整个pdf内容都在那里，因此您可以将其保存为.pdf文件，并将其等效于下载。请尝试编写一个爬行器，首先查找pdf的URL，然后更新您的问题。