spark cassandra连接器配置:每秒并发读取vs输入读取

spark cassandra连接器配置:每秒并发读取vs输入读取,cassandra,cassandra-3.0,spark-cassandra-connector,Cassandra,Cassandra 3.0,Spark Cassandra Connector,阅读时感到困惑 concurrent.reads:为joinWithCassandra表设置读取并行性 输入。每秒读取数:设置joinWithCassandraTable每秒每个内核的最大请求数 Datastax中SDE并发读取的说明: 看起来像是并发的。读取与输入的操作相同。每秒读取 它们之间的真正区别是什么?它们并不相同,但可以被视为相关的 concurrent.reads定义每个核心可以同时发送多少个并发请求(所谓的)。在某些情况下,您可以将其从默认值降低,以避免Cassandra节点因

阅读时感到困惑

concurrent.reads:为joinWithCassandra表设置读取并行性

输入。每秒读取数:设置joinWithCassandraTable每秒每个内核的最大请求数

Datastax中SDE并发读取的说明:

看起来像是并发的。读取与输入的操作相同。每秒读取


它们之间的真正区别是什么?

它们并不相同,但可以被视为相关的

  • concurrent.reads
    定义每个核心可以同时发送多少个并发请求(所谓的)。在某些情况下,您可以将其从默认值降低,以避免Cassandra节点因并行处理过多请求而过载
  • input.reads_per__sec
    定义每秒可执行的每个核心的请求数

根据您的描述,第一个和第二个的区别在于“可以发送”和“可以执行”。1.你能提供更多的细节吗?2.我可以降低“input.reads_per_second”以避免集群过载吗?3.如果问题2为“是”,那么该值是否应与“concurrent.reads”相同?它们有相同的效果吗?thanks1st选项(并发读取)是一个内核并行执行的查询数-如果Cassandra能够快速响应,您每秒可以获得更多请求。第二个选项是控制每秒执行的请求数。。。您需要调整其中一个选项-我建议从第一个选项开始您还可以告诉input.reads_per_sec和input.fetch.size_in_rows之间的区别?
fetch.size_in_rows
定义页面大小:
Concurrent reads set to 4 means in a 4 core spark executor means, 16 requests will run MAX at the same time.