Parsing 解析网站

Parsing 解析网站,parsing,programming-languages,web,Parsing,Programming Languages,Web,我想做一个程序,作为用户输入一个网站地址。然后程序进入该网站,下载,然后解析其中的信息。它使用来自网站的信息输出一个新的html文件 具体来说,这个程序要做的是从网站上获取某些链接,并将这些链接放入输出的html文件中,它将丢弃其他所有内容 现在我只想让它适用于不需要登录的网站,但稍后我想让它适用于您必须登录的网站,因此它必须能够处理cookies 我还希望以后该程序能够浏览某些链接并从其他网站下载信息 做这件事最好的编程语言或工具是什么?(Python)是极力推荐的,尽管我个人没有经验。(Py

我想做一个程序,作为用户输入一个网站地址。然后程序进入该网站,下载,然后解析其中的信息。它使用来自网站的信息输出一个新的html文件

具体来说,这个程序要做的是从网站上获取某些链接,并将这些链接放入输出的html文件中,它将丢弃其他所有内容

现在我只想让它适用于不需要登录的网站,但稍后我想让它适用于您必须登录的网站,因此它必须能够处理cookies

我还希望以后该程序能够浏览某些链接并从其他网站下载信息

做这件事最好的编程语言或工具是什么?

(Python)是极力推荐的,尽管我个人没有经验。

(Python)是极力推荐的,尽管我个人没有经验。

Python

使用python的标准libs编写一个简单的爬虫程序相当容易,但是您也可以在web上找到一些现有的python爬虫程序库。

python


使用python的标准库编写简单的爬虫程序相当容易,但您也可以在web上找到一些现有的python爬虫程序库。

执行任务最简单的语言通常是您最熟悉的语言!您已经知道哪些语言/工具?作为一个旁注,您可能也想考虑允许直接输入HTML源。这使得用户更容易输入需要使用凭据的网站。此外,除非用户给他/她的凭据,你将无法登录他们的名义。目前我正在使用C++,但有一些经验与Python,Perl,和其他东西。我将用我自己的用户名和密码登录。完成任务最简单的语言通常是你最熟悉的语言!您已经知道哪些语言/工具?作为一个旁注,您可能也想考虑允许直接输入HTML源。这使得用户更容易输入需要使用凭据的网站。此外,除非用户给他/她的凭据,你将无法登录他们的名义。目前我正在使用C++,但有一些经验与Python,Perl,和其他东西。我将用我自己的用户名和密码登录。