Python Web抓取，无需检查元素

我有一个网站列表，我必须从中提取信息（没有添加和页脚和“订阅”的主文本）……但是，这些网站有不同的结构，它们太多了。

---

有什么方法可以在不逐个检查元素的情况下对它们进行web刮取吗？

您可以使用beautifulsoup4软件包来完成此操作

见文件：

---

欢迎来到SO-请阅读并改进您的问题，并格式化您的问题。谢谢I scraping and scrape是关于扔掉东西的。您应该使用scraping and scrape。我确实使用了beautifulsoup4。我的问题是我需要检查每个网站的元素/结构，以便知道要检索哪个HTML元素。我想要一个批量提取所有网站内容的方法。