Apache spark 在Spark Cassandra中调试失败的任务

Apache spark 在Spark Cassandra中调试失败的任务,apache-spark,cassandra,spark-cassandra-connector,Apache Spark,Cassandra,Spark Cassandra Connector,我发现一些每mil 1次的任务失败了,整个阶段都成功完成了,但我很难理解它是从哪里来的 它在不同的节点上“随机”发生。我在Cassandra级别增加了超时时间 如何调试此任务?哪些任务?是否可以包括nodetool tpstat输出?(如果你指的也是这些)。或者你是说查询失败了?我是说Spark任务(据我所知,作业是由任务组成的阶段组成的)。你可以提高执行器的调试级别,可能是单个任务达到了C*标记范围,该范围非常密集或包含非常宽的分区?可能是非常大的分区。我会朝那个方向调查。

我发现一些每mil 1次的任务失败了,整个阶段都成功完成了,但我很难理解它是从哪里来的

它在不同的节点上“随机”发生。我在Cassandra级别增加了
超时时间


如何调试此任务?

哪些任务?是否可以包括
nodetool tpstat
输出?(如果你指的也是这些)。或者你是说查询失败了?我是说Spark任务(据我所知,作业是由任务组成的阶段组成的)。你可以提高执行器的调试级别,可能是单个任务达到了C*标记范围,该范围非常密集或包含非常宽的分区?可能是非常大的分区。我会朝那个方向调查。