用python清理网站

我刚刚开始学习python。我正试图从网上搜刮一个网站，从中获取价格和标题。我已经阅读了很多教程和博客，最常见的库是BeautifulSoup和

scrapy

我的问题是，有没有什么方法可以不用任何库就能抓取一个网站？

如果有一种方法可以在不使用任何第三方库（如

beautifulsoup

和

scrapy

）的情况下刮取网站<代码>它可以使用内置库

---

请给我推荐一篇博客、文章或教程，这样我就可以学习而不是使用

scrapy

你可以使用

urllib

您可以使用

regex

而不是

beautifulsoup

但是

scrapy

和

beautifulsou

让你的生活更轻松

---

Scrapy

，不容易使用库，因此您可以使用

请求

或

urlib

而不是使用

Scrapy

，您可以使用

urlib

您可以使用

regex

而不是

beautifulsoup

但是

scrapy

和

beautifulsou

让你的生活更轻松

---

Scrapy

，不容易使用的库，因此您可以使用

请求

或

urllib

，我认为python web scraping中最好的、流行的、易于学习和使用的库是请求，lxml和BeautifulSoup的最新版本是bs4，在摘要中“请求”允许我们向网站服务器发出HTML请求，以检索其页面上的数据。获取网页的HTML内容是抓取网页的首要步骤

让我们看看Python库的优点和缺点

优势：

• 简单的
• 基本/摘要身份验证
• 国际域名和网址
• 分块请求
• HTTP（S）代理支持

缺点：

• 仅检索页面的静态内容
• 无法用于分析HTML
• 无法处理纯用JavaScript创建的网站

我们知道请求库无法解析从网页检索到的HTML。因此，我们需要lxml，这是一个高性能、极快、高质量的HTML和XML解析Python库

让我们看看lxml Python库的优缺点

优势：

• 比大多数解析器都快
• 轻量
• 使用元素树
• pythonicapi

缺点：

• 不能很好地处理设计糟糕的HTML
• 官方文档对初学者不是很友好

BeautifulSoup可能是用于web抓取的最广泛使用的Python库。它创建用于解析HTML和XML文档的解析树。Beauty Soup自动将传入文档转换为Unicode，将传出文档转换为UTF-8

Beautiful Soup库的一个主要优点是，它可以很好地处理设计糟糕的HTML，并且有很多函数。美丽的汤和要求的结合在这个行业是很常见的

优势：

• 需要几行代码
• 伟大的文献
• 易于初学者学习
• 健壮的
• 自动编码检测

缺点：

• 比lxml慢

如果您想学习如何使用Beautiful Soup刮取网页，本教程适用于您：

---

顺便说一句，有很多库可以尝试，比如Scrapy、Selenium Web Scraping库、regex和urllib，我认为python Web Scraping中最好的、流行的、易于学习和使用的库是请求，lxml和BeautifulSoup的最新版本是bs4，在摘要中“请求”允许我们向网站服务器发出HTML请求，以检索其页面上的数据。获取网页的HTML内容是抓取网页的首要步骤

让我们看看Python库的优点和缺点

优势：

• 简单的
• 基本/摘要身份验证
• 国际域名和网址
• 分块请求
• HTTP（S）代理支持

缺点：

• 仅检索页面的静态内容
• 无法用于分析HTML
• 无法处理纯用JavaScript创建的网站

我们知道请求库无法解析从网页检索到的HTML。因此，我们需要lxml，这是一个高性能、极快、高质量的HTML和XML解析Python库

让我们看看lxml Python库的优缺点

优势：

• 比大多数解析器都快
• 轻量
• 使用元素树
• pythonicapi

缺点：

• 不能很好地处理设计糟糕的HTML
• 官方文档对初学者不是很友好

BeautifulSoup可能是用于web抓取的最广泛使用的Python库。它创建用于解析HTML和XML文档的解析树。Beauty Soup自动将传入文档转换为Unicode，将传出文档转换为UTF-8

Beautiful Soup库的一个主要优点是，它可以很好地处理设计糟糕的HTML，并且有很多函数。美丽的汤和要求的结合在这个行业是很常见的

优势：

• 需要几行代码
• 伟大的文献
• 易于初学者学习
• 健壮的
• 自动编码检测

缺点：

• 比lxml慢

如果你愿意