pythonweb抓取和存储到mysql

我需要用Python编写好的网络爬虫来将完整的页面存储到mysql数据库中。我正在试验的小系统现在使用PHP Sphider爬行并存储到数据库中。我需要的东西，工程几乎完全一样斯皮德，但在Python编写。所以只需将数据库存储到表中，从其他脚本获取内容并完成我需要的其余工作。斯皮德速度很慢，想更换它

---

所以，我看了scrapy和其他一些项目，但任何东西都不符合我的需要，这是我开始自己编码之前的最后一次尝试，所以如果有人知道什么可以解决我这个问题，请告诉我。

当心

这个答案是为初学者量身定做的，它不是最优的，也不是最聪明的

但我强烈推荐你。 试试教程。 请记住使用Firefox+Firebug扩展来导航和了解数据的内部路径、XPath和html位置，以便进行后续分析

检查类似的答案“”和“”

---

节省时间，使用Firefox和FireBug扩展（启用

inspect

）

你应该做你想做的事是不是有什么原因不能使用scrapy然后超越保存功能将数据放入mysql数据库。您甚至可以使用诸如SQLAlchemy之类的ORM来简化信息的保存和检索。也许如果你告诉我们为什么刮痧是不够的，那么我们可以提供更多的帮助。