Apache spark Spark中静态资源分配的用例

Apache spark Spark中静态资源分配的用例,apache-spark,pyspark,Apache Spark,Pyspark,动态分配总是优于静态分配吗?换句话说,我们是否会从分配固定资源中受益?固定资源分配的好处是可预测的 您将确切知道您的工作在任何给定时间可以使用多少资源 如果您正在切换到动态分配,并且您的作业在共享集群上运行,那么在作业的资源请求排队时,您可能会遇到资源不足以满足当前工作负载的情况。这可能会导致意外延误和其他不可预测的行为 固定资源也更容易设置,因为您不需要动态分配所需的外部洗牌服务。静态分配绝对是流式应用程序的首选模式,

动态分配总是优于静态分配吗?换句话说,我们是否会从分配固定资源中受益?

固定资源分配的好处是可预测的

您将确切知道您的工作在任何给定时间可以使用多少资源

如果您正在切换到动态分配,并且您的作业在共享集群上运行,那么在作业的资源请求排队时,您可能会遇到资源不足以满足当前工作负载的情况。这可能会导致意外延误和其他不可预测的行为


固定资源也更容易设置,因为您不需要动态分配所需的外部洗牌服务。

静态分配绝对是流式应用程序的首选模式,