Python 计算sparkml堆需求

我正试图在我大约700万次观察的训练样本上训练NaiveBayes模型。对于每次观察，我都有一个大约27000个特征的SparseVector。我通过ipython笔记本使用Spark 2.0

我在一个有4个工人的集群上运行它，每个工人都有一个执行器，具有40GB的RAM和8个内核。驱动程序有32 GB的RAM。Spark UI显示了分布在100个分区上的18.4 GB数据集

模型拟合开始生效，但过了一会儿，我得到了以下错误

我试图找出一种方法来估计执行此装配所需的RAM。是否有可靠的方法来计算估算

此外，我将40gb分配给每个执行者，并可以在spark Master web UI页面上确认。但是，当我进入应用程序详细信息ui并单击Executors时，它显示每个执行器只有21.2GB。为什么会发生这种情况

提前谢谢

这里是垃圾场：

Py4JJavaError: An error occurred while calling o2392.fit.
: java.lang.OutOfMemoryError: Java heap space
    at scala.collection.mutable.ArrayBuilder$ofDouble.mkArray(ArrayBuilder.scala:518)
    at scala.collection.mutable.ArrayBuilder$ofDouble.resize(ArrayBuilder.scala:524)
    at scala.collection.mutable.ArrayBuilder$ofDouble.ensureSize(ArrayBuilder.scala:536)
    at scala.collection.mutable.ArrayBuilder$ofDouble.$plus$plus$eq(ArrayBuilder.scala:549)
    at scala.collection.mutable.ArrayBuilder$ofDouble.$plus$plus$eq(ArrayBuilder.scala:511)
    at scala.collection.mutable.ArrayOps$$anonfun$flatten$2.apply(ArrayOps.scala:83)
    at scala.collection.mutable.ArrayOps$$anonfun$flatten$2.apply(ArrayOps.scala:82)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.mutable.ArrayOps$class.flatten(ArrayOps.scala:82)
    at scala.collection.mutable.ArrayOps$ofRef.flatten(ArrayOps.scala:186)
    at org.apache.spark.mllib.classification.NaiveBayesModel.<init>(NaiveBayes.scala:56)
    at org.apache.spark.mllib.classification.NaiveBayes.run(NaiveBayes.scala:433)
    at org.apache.spark.mllib.classification.NaiveBayes$.train(NaiveBayes.scala:507)
    at org.apache.spark.ml.classification.NaiveBayes.train(NaiveBayes.scala:106)
    at org.apache.spark.ml.classification.NaiveBayes.train(NaiveBayes.scala:76)
    at org.apache.spark.ml.Predictor.fit(Predictor.scala:90)
    at org.apache.spark.ml.Predictor.fit(Predictor.scala:71)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:237)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:280)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:128)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:211)
    at java.lang.Thread.run(Thread.java:745)

Py4JJavaError:调用o2392.fit时出错。
：java.lang.OutOfMemoryError:java堆空间
位于scala.collection.mutable.ArrayBuilder$ofDouble.mkArray（ArrayBuilder.scala:518）
位于scala.collection.mutable.ArrayBuilder$ofDouble.resize（ArrayBuilder.scala:524）
位于scala.collection.mutable.ArrayBuilder$ofDouble.ensureSize（ArrayBuilder.scala:536）
位于scala.collection.mutable.ArrayBuilder$ofDouble.$plus$plus$eq（ArrayBuilder.scala:549）
位于scala.collection.mutable.ArrayBuilder$ofDouble.$plus$plus$eq（ArrayBuilder.scala:511）
在scala.collection.mutable.ArrayOps$$anonfun$flatte$2.apply（ArrayOps.scala:83）
位于scala.collection.mutable.ArrayOps$$anonfun$flatte$2.apply（ArrayOps.scala:82）
在scala.collection.IndexedSeqOptimized$class.foreach（IndexedSeqOptimized.scala:33）
位于scala.collection.mutable.ArrayOps$ofRef.foreach（ArrayOps.scala:186）
在scala.collection.mutable.ArrayOps$class.flatte（ArrayOps.scala:82）
在scala.collection.mutable.ArrayOps$ofRef.flatte（ArrayOps.scala:186）中
位于org.apache.spark.mllib.classification.NaiveBayesModel（NaiveBayes.scala:56）
位于org.apache.spark.mllib.classification.NaiveBayes.run（NaiveBayes.scala:433）
位于org.apache.spark.mllib.classification.NaiveBayes$.train（NaiveBayes.scala:507）
位于org.apache.spark.ml.classification.NaiveBayes.train（NaiveBayes.scala:106）
位于org.apache.spark.ml.classification.NaiveBayes.train（NaiveBayes.scala:76）
位于org.apache.spark.ml.Predictor.fit（Predictor.scala:90）
位于org.apache.spark.ml.Predictor.fit（Predictor.scala:71）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:498）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:237）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）
在py4j.Gateway.invoke处（Gateway.java:280）
位于py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:128）
在py4j.commands.CallCommand.execute（CallCommand.java:79）
在py4j.GatewayConnection.run处（GatewayConnection.java:211）
运行（Thread.java:745）

是的，spark可能很贪婪。您可以演示如何启动应用程序，您为sparkContext提供了哪些属性吗？我只是将spark.driver.maxResultSize设置为10g，其余为默认值。您在该驱动程序进程上有多少内存？这是由

spark.driver.memory控制的，如果您将其作为spark submit运行。如果没有足够的内存来放置结果，那么使用maxResultSize是没有帮助的。驱动程序有32GB。盒子作为一个整体有144个。你的意思是当你启动驱动程序进程时，它有所有的32 GB可用？是的，spark可能是贪婪的。您可以演示如何启动应用程序，您为sparkContext提供了哪些属性吗？我只是将spark.driver.maxResultSize设置为10g，其余为默认值。您在该驱动程序进程上有多少内存？这是由
spark.driver.memory控制的，如果您将其作为spark submit运行。如果没有足够的内存来放置结果，那么使用maxResultSize是没有帮助的。驱动程序有32GB。框作为一个整体有144。你的意思是当你启动驱动程序进程时，它有所有的32 GB可用？