Apache spark 如何实时调整spark作业？

如何在pyspark中的spark结构化流媒体作业期间调整内存核心消耗？

您只能在提交阶段之前在spark中调整作业

可以通过以下方式调整spark作业：

  ./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

---

否当作业正在等待新任务时（在待机模式下），或者如果我想减少spark作业中的执行器内存以在其他作业中使用该内存，如何减少执行器内存和总执行器内核数。@OzanDikerler这正是我想说的。spark中的调谐只能在提交阶段进行。但您可以使用动态分配（根据您的情况，仅推荐用于流式作业）。动态分配允许Spark根据工作负载动态扩展分配给应用程序的集群资源。您可以在堆栈溢出上看到此线程