Apache spark 为什么启用动态分配时，Spark Web UI和rest UI中显示的执行器数量始终保持不变
我正在运行一个Spark流媒体应用程序，批处理持续时间为1分钟，并且启用了动态分配，ExecuteIdleRuntime等于5秒。我可以在event timeline中看到他们分配和删除了大约4000个执行者，但在executors中我总是看到102个执行者。这是什么原因呢？Rest API提供了相同的数据，但executor是不同的 为了更好地理解这个问题，我附上了相应的快照Apache spark 为什么启用动态分配时，Spark Web UI和rest UI中显示的执行器数量始终保持不变,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我正在运行一个Spark流媒体应用程序，批处理持续时间为1分钟，并且启用了动态分配，ExecuteIdleRuntime等于5秒。我可以在event timeline中看到他们分配和删除了大约4000个执行者，但在executors中我总是看到102个执行者。这是什么原因呢？Rest API提供了相同的数据，但executor是不同的 为了更好地理解这个问题，我附上了相应的快照