Asp.net mvc 如何构建web扫描仪?如果内容已更改,请扫描网页并保存

Asp.net mvc 如何构建web扫描仪?如果内容已更改,请扫描网页并保存,asp.net-mvc,web-scraping,Asp.net Mvc,Web Scraping,我需要建立一个网络扫描仪。 如果某些数据已更改,此web应用程序必须扫描任何网页并保存结果。 它应该搜索关键字并查找其值是否已修改/更改。 我将使用asp.net mvc创建此应用程序。 我应该用什么来扫描一些网页?如果我将在我的页面中插入我要扫描的页面的任何url,会发生什么?他们是不是有些机器人,如果某些内容发生变化,他们会寻找它? 请帮助我理解构建这样的东西需要什么。您可以加载页面的标记,使用它生成校验和,然后将其存储起来,以便与第二天的页面进行比较。更改?和什么时候相比?拯救去哪里?在昨

我需要建立一个网络扫描仪。 如果某些数据已更改,此web应用程序必须扫描任何网页并保存结果。 它应该搜索关键字并查找其值是否已修改/更改。 我将使用asp.net mvc创建此应用程序。 我应该用什么来扫描一些网页?如果我将在我的页面中插入我要扫描的页面的任何url,会发生什么?他们是不是有些机器人,如果某些内容发生变化,他们会寻找它?
请帮助我理解构建这样的东西需要什么。

您可以加载页面的标记,使用它生成校验和,然后将其存储起来,以便与第二天的页面进行比较。

更改?和什么时候相比?拯救去哪里?在昨天和今天之间换车。保存在一些数据库中。我是说我该怎么做。实现一些机器人作为应用程序,为给定密钥的特定用户读取网页?是的,但如果某些内容(“今天的日期”)自然发生变化怎么办?你不关心的viewstate之类的东西呢?同意。无论是谁定义需求,都需要考虑这些因素。我只是给OP一个可能的技术解决方案的概述@Ragim您需要定义什么确切地构成“更改”,并将这种理解构建到用于加载部分或部分标记的逻辑中。有些人可能建议您使用RegExp来解析HTML,并使用它来包含/排除页面中不相关的部分,如标题中的日期等。不建议这样做:祝您好运。