Lucene &引用;轮胎散装api“;完成索引数据所需的时间比一条河还要长
之前,我使用一个索引将所有数据从mysql索引到elasticsearch。现在我转向了批量api,因为它让我可以在将数据索引到elasticsearch之前自由地操作数据。但是与jdbc river的3M记录相比,使用tire bulk api的索引过程需要花费大量的时间(4倍)。有没有办法使索引过程更快、更高效?IMHO,关键是JDBC河是在Elasticsearch内部启动的。因此,在JDBC请求之后,数据将存储在内存中并直接发送到ES 使用外部进程,您可以多跳一次网络 也就是说,降低4倍可能太多了。不一定“太多”:取决于使用哪个HTTP客户端(保持活动状态),它通过网络与Java API进行比较,等等。Lucene &引用;轮胎散装api“;完成索引数据所需的时间比一条河还要长,lucene,elasticsearch,tire,Lucene,elasticsearch,Tire,之前,我使用一个索引将所有数据从mysql索引到elasticsearch。现在我转向了批量api,因为它让我可以在将数据索引到elasticsearch之前自由地操作数据。但是与jdbc river的3M记录相比,使用tire bulk api的索引过程需要花费大量的时间(4倍)。有没有办法使索引过程更快、更高效?IMHO,关键是JDBC河是在Elasticsearch内部启动的。因此,在JDBC请求之后,数据将存储在内存中并直接发送到ES 使用外部进程,您可以多跳一次网络 也就是说,降低4倍