Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/364.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在Struts中为Scraper定义URL端点_Java_Python_Django_Xmlhttprequest_Struts - Fatal编程技术网

Java 在Struts中为Scraper定义URL端点

Java 在Struts中为Scraper定义URL端点,java,python,django,xmlhttprequest,struts,Java,Python,Django,Xmlhttprequest,Struts,以下是当前的基本设置:Django上的Python 2、Selenium&BeautifulSoup、MqSQL(致力于用PhantomJS替换Chrome以减少内存使用) 我建立了一个搜索引擎。当用户输入搜索条件时,我根据查询填写表格,从所述来源刮取数据,使用我的算法对数据进行排序和组织,并将结果显示给用户 这是相当缓慢的,因为有许多请求(超过1000个)到网站的服务器检索数据(通常需要90秒左右的搜索结果才能开始显示) 我现在正在修改我的scraper,目的是缩短提交搜索和显示搜索结果之

以下是当前的基本设置:Django上的Python 2、Selenium&BeautifulSoup、MqSQL(致力于用PhantomJS替换Chrome以减少内存使用)

我建立了一个搜索引擎。当用户输入搜索条件时,我根据查询填写表格,从所述来源刮取数据,使用我的算法对数据进行排序和组织,并将结果显示给用户

这是相当缓慢的,因为有许多请求(超过1000个)到网站的服务器检索数据(通常需要90秒左右的搜索结果才能开始显示)

我现在正在修改我的scraper,目的是缩短提交搜索和显示搜索结果之间的时间。我需要将所有这些请求合并为1或2个请求,并重新设计我的刮板,使其尽可能位于服务器端(即使用xhr),以提高搜索结果显示的速度

在一些网站上,我可以直接使用URL结构轻松地操作表单,并且完全避免web驱动程序(afaik分页除外)。然而,我遇到过一些使用Struts(版本1和版本2)的网站,无法找到要使用的端点。我很久没有接触过Java,也不再熟悉它的结构

有人知道如何使用服务器端操作而不是缓慢的web驱动程序来删除使用struts构建的站点吗?这可能吗