使用grails抓取3个网站

使用grails抓取3个网站,grails,Grails,您好,我正在尝试使用grails构建一个简单的应用程序,其中我需要抓取3个网站,以获取有关书本价格的数据。在获得这些详细信息后,当我选择购买时,它必须重定向到所选网站。示例参考链接我被卡住了,我不知道如何在grails中实现一个简单的抓取程序。请用示例指导我关于硬件的代码或教程来实现它 提前感谢实现crawler与grails无关,您可以根据需要使用或定制一些开源java crawler。前端部分将类似于普通的grails web应用程序。使用URL#getText()之类的东西不会让您在有重定

您好,我正在尝试使用grails构建一个简单的应用程序,其中我需要抓取3个网站,以获取有关书本价格的数据。在获得这些详细信息后,当我选择购买时,它必须重定向到所选网站。示例参考链接我被卡住了,我不知道如何在grails中实现一个简单的抓取程序。请用示例指导我关于硬件的代码或教程来实现它


提前感谢

实现crawler与grails无关,您可以根据需要使用或定制一些开源java crawler。前端部分将类似于普通的grails web应用程序。

使用URL#getText()之类的东西不会让您在有重定向、cookie等的web上走得很远

对于任何涉及到的内容,即使是一点点,也可以使用commons HttpClient或groovy HttpBuilder


要解析响应并提取内容,请使用XmlSlurper,例如:

我想说在这里写下你的问题,这样其他人也可以帮助你。当然没有问题,我听说获取HTML页面内容的最简单方法是调用getText()我在URL.hw上实现了这一点。我的意思是在哪里添加代码和东西。你是在服务中这样做的-你已经知道grails了,还是完全不知道?我是grails的初学者。所以,请您发布一个简单的代码片段,以便在grails中执行http get调用。先谢谢你