端口web刮板，scrapy 0.24，到python 3。或者用更好的

我试图用它来制作网页刮板，但由于它使用Python2，我遇到了很多问题。是否可以同时对tarball中的所有文件运行2to3命令？这会导致不可预见的错误吗？是否有一个替代的web scraper框架，它是最新的、功能更强大的，可以被推荐替代

我这么说是因为最近似乎没有太多关于运行scrapy版本0.24固有问题的表单活动，也就是说，它是用python 2编写的

如果scrapy是最好的选择，而移植是一个坏主意，那么在我的面向python3的机器上运行它的最佳方式是什么？只使用python 2或我可以在配置文件中更改的东西来运行它的命令

更新

如果您有此类问题，您需要做的是：

只需使用

python2

运行

setup.py

脚本即可

python2 setup.py install

你可以走了，然后就可以了

---

^正如@alecxe

所指出的，将

Scrapy

移植到Python3的问题是

Scrapy

是

twisted

事件驱动框架，目前它是

在Python3上，没有比

Scrapy

更大、更成熟的web抓取框架了。虽然看起来很有希望，但有点不同，请参见：

此外，还有其他支持Python 3的与web抓取和html解析相关的库：

• （建立在

  请求

  和

  美化组

  之上）

---

您是说您正在尝试将Scrapy移植到Python3？问题是

Scrapy

是基于

twisted

的，后者还没有。是的，没错。这样行吗？“我能用一种更可靠的新刮刀来代替吗？那么，我怎么能在我的机器上运行scrapy呢？”flavius_valens那么，还是我遗漏了什么？谢谢。是的，我这么做了，但它给我带来了各种各样的问题，与python 3有关，是否有一个命令只在python 2或其他东西上运行它？@flavius_valens您需要安装python 2.7，并将Scrapy安装到python 2.7环境中。