Web scraping 刮痧汤和靓汤有什么区别

我曾读到，scrapy是一种网络爬行工具，而BeautifulSoup是scrapy的图书馆。但我的朋友说，两者都是不同的，我们可以实现同样的任务，这是由刮毛完成的。我朋友的观点正确吗？我还怀疑beautifulsoup是scrapy的一部分还是另一个？请告诉我，Beauty soup是一个用于HTML解析和操作的库。它接收一个HTML文档，并允许您通过简单的函数调用来导航和操作它

Scrapy是一种管理下载的工具。它获取一个URL，在这个URL下载数据，可能解析这个HTML（使用任何你想要的方式，你可以使用BeautifulSoup），排队下载更多的URL，并并行管理多个下载程序

---

Scrapy是一种并行管理下载许多HTML文档的工具，BeauthSoup是一个分析一个HTML文档并可以用它的内容做有趣的事情的工具。在抓取站点时，您可能会将这两种方法结合使用。

我们可以在scrapy中使用BS吗？scrapy也可以访问网站的内容，对吗？同样，是的，您可以使用scrapy中的BS来处理下载的HTML。看见这显示了一个使用scrapy的XPATH表达式解析HTML的示例。但是你可以很容易地用BS替换代码来解析HTML。谢谢…很好的解释。说得很清楚。但是你能给我一个很好的教程链接吗？我不能。从它的文档中学习BS，从它的文档中学习scrapy，从scrapy文档中学习，在这一点上你必须解析HTML并将你的BS代码放在那里。XPATH表达式，就像CSS选择器一样，是非常严格的。他们要么申请，要么不申请。如果您需要解析非常直接的HTML，它们是一种非常简洁的解析方式。BeautifulSoup允许您通过编程更方便地访问HTML的结构；e、 g.找到第一个

，然后遍历以下三个

，如果后面有另一个

，则执行此操作或其他操作。如果您需要处理的HTML不是直接的和/或动态的，那么您可能需要它。