Java 爬虫获取外部网站搜索结果 我可以使用什么样的最佳实践和库在外部网站的搜索文本框中输入并收集搜索结果? 如何使用不同的搜索框和复选框处理网站并收集结果? 是否可以使用Selenium自动执行此操作? 我应该用Heritrix还是nutch?哪一个更好?我听说nutch有插件。哪个社区更大

Java 爬虫获取外部网站搜索结果 我可以使用什么样的最佳实践和库在外部网站的搜索文本框中输入并收集搜索结果? 如何使用不同的搜索框和复选框处理网站并收集结果? 是否可以使用Selenium自动执行此操作? 我应该用Heritrix还是nutch?哪一个更好?我听说nutch有插件。哪个社区更大,java,selenium,web-crawler,nutch,Java,Selenium,Web Crawler,Nutch,您可以使用: Selenium API HtmlUnit HTMLPasser 等。任何参考文章。。。如何从selenium获得结果并传递给HTMLPasser。我认为selenium可以自动化测试,但不能得到结果……这是API可以做到的。您可以打开这三种技术的页面,查看“入门”或用户手册-这是一个很好的参考

您可以使用:

  • Selenium API
  • HtmlUnit
  • HTMLPasser

等。

任何参考文章。。。如何从selenium获得结果并传递给HTMLPasser。我认为selenium可以自动化测试,但不能得到结果……这是API可以做到的。您可以打开这三种技术的页面,查看“入门”或用户手册-这是一个很好的参考