Java 在Struts中为Scraper定义URL端点
以下是当前的基本设置:Django上的Python 2、Selenium&BeautifulSoup、MqSQL(致力于用PhantomJS替换Chrome以减少内存使用) 我建立了一个搜索引擎。当用户输入搜索条件时,我根据查询填写表格,从所述来源刮取数据,使用我的算法对数据进行排序和组织,并将结果显示给用户 这是相当缓慢的,因为有许多请求(超过1000个)到网站的服务器检索数据(通常需要90秒左右的搜索结果才能开始显示) 我现在正在修改我的scraper,目的是缩短提交搜索和显示搜索结果之间的时间。我需要将所有这些请求合并为1或2个请求,并重新设计我的刮板,使其尽可能位于服务器端(即使用xhr),以提高搜索结果显示的速度 在一些网站上,我可以直接使用URL结构轻松地操作表单,并且完全避免web驱动程序(afaik分页除外)。然而,我遇到过一些使用Struts(版本1和版本2)的网站,无法找到要使用的端点。我很久没有接触过Java,也不再熟悉它的结构 有人知道如何使用服务器端操作而不是缓慢的web驱动程序来删除使用struts构建的站点吗?这可能吗Java 在Struts中为Scraper定义URL端点,java,python,django,xmlhttprequest,struts,Java,Python,Django,Xmlhttprequest,Struts,以下是当前的基本设置:Django上的Python 2、Selenium&BeautifulSoup、MqSQL(致力于用PhantomJS替换Chrome以减少内存使用) 我建立了一个搜索引擎。当用户输入搜索条件时,我根据查询填写表格,从所述来源刮取数据,使用我的算法对数据进行排序和组织,并将结果显示给用户 这是相当缓慢的,因为有许多请求(超过1000个)到网站的服务器检索数据(通常需要90秒左右的搜索结果才能开始显示) 我现在正在修改我的scraper,目的是缩短提交搜索和显示搜索结果之