Apache spark 如何实时调整spark作业?

Apache spark 如何实时调整spark作业?,apache-spark,pyspark,spark-streaming,Apache Spark,Pyspark,Spark Streaming,如何在pyspark中的spark结构化流媒体作业期间调整内存核心消耗?您只能在提交阶段之前在spark中调整作业 可以通过以下方式调整spark作业: ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 100 \ /pa

如何在pyspark中的spark结构化流媒体作业期间调整内存核心消耗?

您只能在提交阶段之前在spark中调整作业

可以通过以下方式调整spark作业:

  ./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

否当作业正在等待新任务时(在待机模式下),或者如果我想减少spark作业中的执行器内存以在其他作业中使用该内存,如何减少执行器内存和总执行器内核数。@OzanDikerler这正是我想说的。spark中的调谐只能在提交阶段进行。但您可以使用动态分配(根据您的情况,仅推荐用于流式作业)。动态分配允许Spark根据工作负载动态扩展分配给应用程序的集群资源。您可以在堆栈溢出上看到此线程