Web crawler 简单网络爬虫(例程)

Web crawler 简单网络爬虫(例程),web-crawler,Web Crawler,我是一名初级程序员,我正在尝试根据公共网站每天显示的公共信息(一个50行5列的小表格)创建一个数据库。 我的想法是每天进入这个网站4次,并存储一个显示在这个网站上的表格。我需要一些关于以下几点的帮助/提示,我认为为了构建此数据库,我应该攻击这些帮助/提示: 1) 我应该使用哪种编程语言 2) 我应该在哪里存储程序 3) 它将在哪里存储数据 4) 该计划应该如何运作?[这里有两个问题:i)如何进入网站并存储数据;ii)如何每天进行,每天在特定时间进行4次] 任何关于这些问题的提示都是很好的。 谢谢

我是一名初级程序员,我正在尝试根据公共网站每天显示的公共信息(一个50行5列的小表格)创建一个数据库。 我的想法是每天进入这个网站4次,并存储一个显示在这个网站上的表格。我需要一些关于以下几点的帮助/提示,我认为为了构建此数据库,我应该攻击这些帮助/提示:

1) 我应该使用哪种编程语言

2) 我应该在哪里存储程序

3) 它将在哪里存储数据

4) 该计划应该如何运作?[这里有两个问题:i)如何进入网站并存储数据;ii)如何每天进行,每天在特定时间进行4次]

任何关于这些问题的提示都是很好的。
谢谢

如果你问我你应该使用哪种语言,你一定是一个真正的程序员。我想回答一个问题:你懂什么语言

在我看来,最简单的方法是使用小型php脚本,将信息存储在文件或数据库中,作为cron作业每天运行4次。

  • 我会用JavaScript编写代码,更具体地说是一个谷歌应用程序脚本
  • 程序(脚本)将存储在您的谷歌硬盘中
  • 您可以将数据存储在谷歌电子表格或谷歌脚本数据库中
  • 您创建了一个定时触发器,每天运行“更新”功能4次
    • 使用UrlFetchApp()检索网页内容,解析内容,然后将解析后的数据存储在ScriptDB()中
    • 时间驱动触发器()

您可以将脚本发布为web应用程序,并允许人们在必要时查看您的结果。

谢谢您的讽刺。。。重点是我需要建立数据库,实际上只是用VBA和统计软件编程。。。(实际上我没有问你)是的,你问过我。。。如果你问这里,你会问我和这里的数百万用户。谢谢你的回答。它运行得非常好。我仍在试图弄清楚如何获得一个特定的html代码表,但如果我不能用GAS实现,我将在处理数据库时使用GAS。谢谢你的帮助。