Neo4j因果群集复制失败,返回“0”;“对等端重置连接”;
运行一个三节点的Neo4j因果集群(部署在Kubernetes集群上),我们的领导者似乎很难将事务复制到它的追随者。我们在调试日志中看到以下错误/警告:Neo4j因果群集复制失败,返回“0”;“对等端重置连接”;,neo4j,kubernetes,Neo4j,Kubernetes,运行一个三节点的Neo4j因果集群(部署在Kubernetes集群上),我们的领导者似乎很难将事务复制到它的追随者。我们在调试日志中看到以下错误/警告: 2019-04-09 16:21:52.008+0000 WARN [o.n.c.c.t.TxPullRequestHandler] Streamed transactions [868842--868908] to /10.0.31.11:38968 Connection reset by peer java.io.IOException:
2019-04-09 16:21:52.008+0000 WARN [o.n.c.c.t.TxPullRequestHandler] Streamed transactions [868842--868908] to /10.0.31.11:38968 Connection reset by peer
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcherImpl.write0(Native Method)
at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:93)
at sun.nio.ch.IOUtil.write(IOUtil.java:51)
at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:471)
at io.netty.channel.socket.nio.NioSocketChannel.doWrite(NioSocketChannel.java:403)
at io.netty.channel.AbstractChannel$AbstractUnsafe.flush0(AbstractChannel.java:934)
at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.forceFlush(AbstractNioChannel.java:367)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:639)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:580)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:497)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:459)
at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:884)
at java.lang.Thread.run(Thread.java:748)
at org.neo4j.helpers.NamedThreadFactory$2.run(NamedThreadFactory.java:110)
在我们的应用程序中,我们似乎发现了以下错误:
Database not up to the requested version: 868969. Latest database version is 868967
当我们使用异步工作进程(从队列读取数据块并将其推入数据库)向集群应用写负载时,就会发生错误
我们调查了明显的罪魁祸首:
- 未达到网络带宽限制
- CPU/内存上没有明显的峰值
- 无其他Neo4j例外(特别是无OOM)
- 我们已解除绑定/恢复集群,并对数据库执行了有效性检查(它们都很好)
- 我们调整了
因果聚类。拉\u间隔为30秒,这似乎可以提高性能,但并不能缓解这个问题
- 我们已经删除了数据库上的资源限制,以减轻可能导致Kubernetes上节流的错误(没有达到实际的CPU限制),这也无助于缓解问题