Web scraping 刮取网页以保存到.csv的最简单方法

有一个页面我想刮，你可以传递它的URL变量，它生成特定的内容。所有内容都在一个巨大的HTML表格中

我正在寻找一种方法来编写一个脚本，它可以遍历180个不同的页面，从表中的某些列中提取特定信息，进行一些计算，然后将它们写入一个.csv文件。这样我可以自己对数据做进一步的分析

刮取网页、解析HTML然后将数据存储到.csv文件的最简单方法是什么

---

我在python和PHP中也做过类似的工作，HTML的解析不是最容易做的，也不是最干净的。还有其他更容易的路线吗

如果您对python有一定的经验，我建议您使用类似python或PHP的语言

一旦知道如何使用HTML解析器，就可以创建一个“管道和过滤器”程序来进行计算并将其转储到csv文件中

---

查看Python解决方案的更多信息。

Web抓取不是数据挖掘。至多是“信息提取”。或者，嗯，网络刮削。请不要把所有的东西都称为“数据挖掘”，它不包括数据库和分析……这是一个非常特殊的问题，因为你的不同语言的个人技能将在这里产生巨大的差异——如果你是Python专家，那么基于Python的工具将变得更容易。通过指定要使用的语言，可以使问题对自己和他人更有用。