Apache spark 在Spark中通过公平调度实现并发

我的环境： 我正试图通过Spark Thrift服务器连接Cassandra。然后，我在Hive Metastore中创建一个元表，其中保存Cassandra表数据。在web应用程序中，我通过JDBC驱动程序连接到元表。我已经为Spark Thrift Server启用了公平调度

问题: 当我通过JMeter对100个用户执行300秒的并发性负载测试时，初始请求的响应时间为亚秒（比如前30秒）。然后响应时间逐渐增加（如2到3秒）。当我检查Spark UI时，所有作业的执行时间都少于100毫秒。我还注意到，当收到请求时，作业和任务处于挂起阶段。因此，我假设，即使任务执行需要亚秒的时间，调度程序也会延迟提交任务。如何修复作业提交中的延迟

以下是我的配置详细信息， 工人人数-2 每个工作人员的执行者数量-1 每个执行器的内核数-14 核心员工总数-30 每个执行器的内存-20Gb 辅助进程的总内存-106Gb

公平调度XML中的配置

<pool name="default">
    <schedulingMode>FAIR</schedulingMode>
    <weight>2</weight>
    <minShare>15</minShare>
  </pool>
  <pool name="test">
    <schedulingMode>FIFO</schedulingMode>
    <weight>2</weight>
    <minShare>3</minShare>
  </pool>

公平的
2.
15
先进先出
2.
3.

---

我正在Spark Standalone模式下执行。

这不是队列中待处理的案例查询，而其他查询正在运行。试着减少spark.locality。等待1s