Java Datastax驱动程序连接异常DSE 5.0,CASSANDRA 3.0.7,spark

Java Datastax驱动程序连接异常DSE 5.0,CASSANDRA 3.0.7,spark,java,datastax-enterprise,datastax-java-driver,spark-cassandra-connector,cassandra-3.0,Java,Datastax Enterprise,Datastax Java Driver,Spark Cassandra Connector,Cassandra 3.0,每当我运行spark作业时看到以下异常时,我都试图理解警告。我在3节点集群的2个节点上看到了这一点。但正如我所说的,它只是警告,作业无论如何都会成功 com.datastax.driver.core.exceptions.ConnectionException: [x.x.x.x/x.x.x.x:9042] Pool was closed during initialization 卡桑德拉原木 信息[SharedPool-Worker-1]2017-07-17 22:25:48716消息。j

每当我运行spark作业时看到以下异常时,我都试图理解警告。我在3节点集群的2个节点上看到了这一点。但正如我所说的,它只是警告,作业无论如何都会成功

com.datastax.driver.core.exceptions.ConnectionException: [x.x.x.x/x.x.x.x:9042] Pool was closed during initialization
卡桑德拉原木

信息[SharedPool-Worker-1]2017-07-17 22:25:48716消息。java:605 -请求期间出现意外异常;通道=[id:0xf0ee1096,/x.x.x:54863=>/x.x.x:9042] io.netty.channel.unix.Errors$NativeIoException:readAddress()失败: 连接超时 在io.netty.channel.unix.Errors.newIOException(Errors.java:105)中 ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 在io.netty.channel.unix.Errors.ioResult(Errors.java:121)~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.channel.unix.FileDescriptor.readAddress(FileDescriptor.java:134) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.channel.epoll.AbstractEpollChannel.doReadBytes(AbstractEpollChannel.java:239) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.channel.epoll.AbstractEpollStreamChannel$epollStreamSafe.epollineReady(AbstractEpollStreamChannel.java:822) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.channel.epoll.EpollEventLoop.processReady(EpollEventLoop.java:348) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.channel.epoll.EpollEventLoop.run(EpollEventLoop.java:264) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:112) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 位于io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:137) ~[netty-all-4.0.34.Final.jar:4.0.34.Final] 在java.lang.Thread.run(Thread.java:745)[na:1.8.0_121]

错误的核心是“连接超时”。我建议对Cassandra群集的网络连接进行故障排除,首先使用更简单的工具,如
ping
telnet
nc
。一些潜在原因:

  • Cassandra客户端的连接配置包含无效的地址(不是Cassandra群集中的节点)
  • 网络配置错误或防火墙规则正在阻止从客户端到Cassandra服务器的连接
  • 目标Cassandra服务器过载,无法响应新的连接请求
您提到该问题是间歇性的(“在我的3节点集群的2个节点中可以看到”),不会导致作业失败。这可能表明以上列出的任何问题只发生在集群中的一部分节点上。(如果与所有节点的连接中断,则作业可能会失败。)