Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/css/33.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/71.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Lucene &引用;轮胎散装api“;完成索引数据所需的时间比一条河还要长_Lucene_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Tire - Fatal编程技术网 elasticsearch,tire,Lucene,elasticsearch,Tire" /> elasticsearch,tire,Lucene,elasticsearch,Tire" />

Lucene &引用;轮胎散装api“;完成索引数据所需的时间比一条河还要长

Lucene &引用;轮胎散装api“;完成索引数据所需的时间比一条河还要长,lucene,elasticsearch,tire,Lucene,elasticsearch,Tire,之前,我使用一个索引将所有数据从mysql索引到elasticsearch。现在我转向了批量api,因为它让我可以在将数据索引到elasticsearch之前自由地操作数据。但是与jdbc river的3M记录相比,使用tire bulk api的索引过程需要花费大量的时间(4倍)。有没有办法使索引过程更快、更高效?IMHO,关键是JDBC河是在Elasticsearch内部启动的。因此,在JDBC请求之后,数据将存储在内存中并直接发送到ES 使用外部进程,您可以多跳一次网络 也就是说,降低4倍

之前,我使用一个索引将所有数据从mysql索引到elasticsearch。现在我转向了批量api,因为它让我可以在将数据索引到elasticsearch之前自由地操作数据。但是与jdbc river的3M记录相比,使用tire bulk api的索引过程需要花费大量的时间(4倍)。有没有办法使索引过程更快、更高效?

IMHO,关键是JDBC河是在Elasticsearch内部启动的。因此,在JDBC请求之后,数据将存储在内存中并直接发送到ES

使用外部进程,您可以多跳一次网络

也就是说,降低4倍可能太多了。

不一定“太多”:取决于使用哪个HTTP客户端(保持活动状态),它通过网络与Java API进行比较,等等。