Apache spark 当存在巨大墓碑时,为什么cqlsh查询读取失败

Apache spark 当存在巨大墓碑时,为什么cqlsh查询读取失败,apache-spark,datastax-enterprise,devops,spark-cassandra-connector,cassandra-3.0,Apache Spark,Datastax Enterprise,Devops,Spark Cassandra Connector,Cassandra 3.0,我有一个带有巨大墓碑的表格,所以当我在那个特定的表格上执行spark作业时,它给出的结果没有任何问题。但我使用cqlsh执行了相同的查询,它给了我错误,因为该表中存在巨大的墓碑 在一致性1(1)副本的读取查询期间发生Cassandra故障 需要,但有0个副本响应,1个失败 我知道墓碑不应该在那里,我可以运行修复来避免它们,但除此之外,spark成功了,cqlsh失败了。它们都使用相同的会话和查询 spark cassandra连接器是如何工作的?它与cqlsh不同吗? 请让我知道 谢谢。Spar

我有一个带有巨大墓碑的表格,所以当我在那个特定的表格上执行spark作业时,它给出的结果没有任何问题。但我使用cqlsh执行了相同的查询,它给了我错误,因为该表中存在巨大的墓碑

在一致性1(1)副本的读取查询期间发生Cassandra故障 需要,但有0个副本响应,1个失败

我知道墓碑不应该在那里,我可以运行修复来避免它们,但除此之外,spark成功了,cqlsh失败了。它们都使用相同的会话和查询

spark cassandra连接器是如何工作的?它与cqlsh不同吗? 请让我知道


谢谢。

Spark Cassandra连接器在几个方面与cqlsh不同

  • 它使用Java驱动程序,而不是python驱动程序
  • 它的重试策略要宽松得多
  • 它通过将请求分解成碎片来扫描整个表
这些项目中的任何一项都可能导致它在SCC中而不是在CQLSH中工作