Apache spark 在执行者之间均匀分配任务

正在尝试使用EMR读取存储在s3中的csv文件（

spark.read.csv（“s3://…）

）。s3存储桶中大约有100个文件，EMR集群中大约有300个实例，每个实例有两个执行器（每个7个核心）.我可以在spark UI中看到，几乎所有的任务都只分配给10个执行者，每个执行者有10个任务，而不是分配给不同的执行者，以利用并行处理每个文件的优势

是否有一个旋钮强制任务分配到所有执行者

spark.dynamicAllocation.enabled

设置为

false

，

spark.executor.instances

设置为群集中的执行器数量