使用vb.net的网络爬虫/蜘蛛
我正在寻找一种方法来自动化一项非常耗时的任务。我们有制造商名称和产品编号，我们在web上搜索这些名称和产品编号，以查找包含信息的站点，或者更确切地说，搜索制造商或供应商站点，并使用链接上的信息填充数据库中的相关字段 手动搜索过程会耗费大量时间，我正在寻找的是一种工具，它可以将名称和产品作为输入，在web上搜索与输入匹配的站点，并转储这些站点的链接使用vb.net的网络爬虫/蜘蛛,.net,vb.net,web-crawler,.net,Vb.net,Web Crawler,我正在寻找一种方法来自动化一项非常耗时的任务。我们有制造商名称和产品编号，我们在web上搜索这些名称和产品编号，以查找包含信息的站点，或者更确切地说，搜索制造商或供应商站点，并使用链接上的信息填充数据库中的相关字段 手动搜索过程会耗费大量时间，我正在寻找的是一种工具，它可以将名称和产品作为输入，在web上搜索与输入匹配的站点，并转储这些站点的链接 有人能帮我吗 你想要实现的目标需要做很多工作，恐怕你没有提供足够的信息让我深入了解细节。但是，在broadlines中，简单的爬网算法需要以下步骤：
有人能帮我吗 你想要实现的目标需要做很多工作，恐怕你没有提供足够的信息让我深入了解细节。但是，在broadlines中，简单的爬网算法需要以下步骤：
- 为所需url创建的实例。如果需要执行POST请求，请使用方法填充正文
- 调用请求以从服务器获取响应。用于从响应中读取HTML标记
- 用于迭代DOM节点并选择所需数据
- 用于查看broswer发送的内容与应用程序发送的内容之间的区别
- 最后但并非最不重要的一点是，如果您遇到无法解决或不知道答案的问题-您已经知道如何使用：）