Apache spark Spark限制每个服务的执行者数量
我们使用Spark streaming（java）进行实时计算。部署有6个节点的spark群集（配置设置为跨节点的200个执行器） 当前有一个服务正在Rabbitmq队列中发布事件。现在我们计划再增加两项服务。在我为每个队列创建spark receiver的情况下，是否可以在负载情况下限制可以为一个服务提供服务的执行器的最大数量（例如，最大限制50%。因此，在上述情况下，最多100个执行器可以为从服务/接收方接收的流提供服务） 谢谢 Shishir在spark job属性下，它将解决您的问题 用于最小资源（spark.DynamicLocation.minExecutors）Apache spark Spark限制每个服务的执行者数量,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我们使用Spark streaming（java）进行实时计算。部署有6个节点的spark群集（配置设置为跨节点的200个执行器） 当前有一个服务正在Rabbitmq队列中发布事件。现在我们计划再增加两项服务。在我为每个队列创建spark receiver的情况下，是否可以在负载情况下限制可以为一个服务提供服务的执行器的最大数量（例如，最大限制50%。因此，在上述情况下，最多100个执行器可以为从服务/接收方接收的流提供服务） 谢谢 Shishir在spark job属性下，它将解决您的问题 用
对于最大资源（spark.dynamicAllocation.maxecutors）很抱歉延迟回复。在这里，背压配置在耗电元件上，所以在接收器从2个不同队列中耗电的情况下，相同的背压应用于这两个队列。我们希望接收方使用来自每个队列的具有不同背压/速率的事件（即来自队列A的150条消息和来自队列B的50条消息）