在Python中使用Scrapy刮取数据

我想帮助我的朋友分析社交网络（Facebook、Twitter、Linkdin等）以及一些博客和网站上的帖子

我有几个问题，试着对它们进行分类：

当涉及到抓取数据时，我的想法是通过API在社交媒体上抓取数据，并通过RSS或网站爬网使用网站抓取数据。

---

我想知道Scrapy是否足够优秀，能够在短时间内以最少的资源使用率为我提供最好的结果？

从技术上讲，Scrapy应该做得很好，只要您正确编码，并从API或通过分析站点代码找到所需的路径

但要注意，使用“自动化手段”从这些网站抓取或刮取数据违反了各自的使用条款协议（尽管Twitter对此相当松懈）。这意味着，如果他们看到一堆来自您IP地址的请求，认为您可能是a.）使用bot或B.）执行DOS攻击。。。他们会很快把你关起来，你可能会被狮子座的人敲你的门

很多人确实有办法获得这样做的许可，但我怀疑他们是否只允许任何人这样做