elasticsearch,Java,Python,elasticsearch" /> elasticsearch,Java,Python,elasticsearch" />

Java 无法在elasticsearch中对大文件执行大容量索引

Java 无法在elasticsearch中对大文件执行大容量索引,java,python,elasticsearch,Java,Python,elasticsearch,我正在尝试使用Python在elasticsearch中对一个大文件(~800MB)进行批量索引。然而,每次我尝试 [2016-01-08 15:06:49354][WARN][http.netty][Marvel Man]在处理客户端http tra时捕获到异常 ffic,正在关闭连接[id:0x2d26baec,/0:0:0:0:1:58923=>/0:0:0:0:0:1:9200] org.jboss.netty.handler.codec.frame.TooLongFrameExcept

我正在尝试使用Python在elasticsearch中对一个大文件(~800MB)进行批量索引。然而,每次我尝试

[2016-01-08 15:06:49354][WARN][http.netty][Marvel Man]在处理客户端http tra时捕获到异常 ffic,正在关闭连接[id:0x2d26baec,/0:0:0:0:1:58923=>/0:0:0:0:0:1:9200] org.jboss.netty.handler.codec.frame.TooLongFrameException:HTTP内容长度超过104857600字节。 位于org.jboss.netty.handler.codec.http.HttpChunkAggregator.messageReceived(HttpChunkAggregator.java:169) 位于org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 位于org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 位于org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 位于org.jboss.netty.handler.codec.http.HttpContentDecoder.messageReceived(HttpContentDecoder.java:135) 位于org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 位于org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 位于org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 在org.jboss.netty.channel.Channels.fireMessageReceived上(Channels.java:296) 在org.jboss.netty.handler.codec.frame.FrameDecoder.UnfolandFireMessageReceived上(FrameDecoder.java:459) 位于org.jboss.netty.handler.codec.replay.ReplayingDecoder.callDecode(ReplayingDecoder.java:536) 位于org.jboss.netty.handler.codec.replay.ReplayingDecoder.messageReceived(ReplayingDecoder.java:435) 位于org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 位于org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 位于org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 位于org.elasticsearch.common.netty.OpenChannelsHandler.handleUpstream(OpenChannelsHandler.java:75) 位于org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 位于org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:559) 在org.jboss.netty.channel.Channels.fireMessageReceived上(Channels.java:268) 在org.jboss.netty.channel.Channels.fireMessageReceived上(Channels.java:255) 位于org.jboss.netty.channel.socket.nio.niower.read(niower.java:88) 位于org.jboss.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:108) 位于org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:337) 位于org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89) 位于org.jboss.netty.channel.socket.nio.niower.run(niower.java:178) 位于org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) 位于org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) 位于java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 位于java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 运行(Thread.java:745)


有人能帮我了解一下这里发生了什么,以及我如何解决这个问题吗?

您必须增加内容上传长度,默认情况下为100mb。 转到config文件夹中的elasticsearch.yml

添加/更新-

http.max\u内容长度:300M


我想它清楚地表明了
org.jboss.netty.handler.codec.frame.TooLongFrameException:HTTP内容长度超过了104857600字节
。你的文件太大了。看这个,错误明显是说你的文件太大了,你必须拆分它。