elasticsearch Elasticsearch:一次索引2GB的文档,elasticsearch,elasticsearch" /> elasticsearch Elasticsearch:一次索引2GB的文档,elasticsearch,elasticsearch" />

elasticsearch Elasticsearch:一次索引2GB的文档

elasticsearch Elasticsearch:一次索引2GB的文档,elasticsearch,elasticsearch,我使用mapper附件插件对elasticsearch索引中的PDF进行索引和分析(1个节点,5个碎片)。一切正常,但我的问题是从mysql数据库中的blob表首次导入1.800 PDF(约2GB) 我使用本机java客户端(传输模式),从数据库中获取文档,将它们编码为base64,并将它们发送到elasticsearch。 在大约300个文档之后,我遇到了内存不足错误。当我为导入应用程序提供更多内存时,elasticsearch主节点很快就会被阻塞 有没有更好的方法导入文档?也许是“批量索引客

我使用mapper附件插件对elasticsearch索引中的PDF进行索引和分析(1个节点,5个碎片)。一切正常,但我的问题是从mysql数据库中的blob表首次导入1.800 PDF(约2GB)

我使用本机java客户端(传输模式),从数据库中获取文档,将它们编码为base64,并将它们发送到elasticsearch。 在大约300个文档之后,我遇到了内存不足错误。当我为导入应用程序提供更多内存时,elasticsearch主节点很快就会被阻塞


有没有更好的方法导入文档?也许是“批量索引客户端”之类的?

您有一些代码吗?听起来你没有刷新内存。你有代码吗?听起来你没有在记忆中刷新什么东西。