Apache spark Spark ML OnlineLDA算法是否给出了OutofMemory异常?
我正在实现Spark ML的Apache spark Spark ML OnlineLDA算法是否给出了OutofMemory异常?,apache-spark,machine-learning,apache-spark-mllib,Apache Spark,Machine Learning,Apache Spark Mllib,我正在实现Spark ML的onlineda算法,其Spark\u Version=2.0.2具有以下属性:- setK = 50 [Topics] setmaxIterations = 10 setDocConcenration = -1 settopiConcentration = -1 和配置: 2个工人,每个工人有24Gb内存,每个工人有25GB的驱动程序内存 我用50k文档生成的语料库运行这个算法 我在一个工人身上得到了javaHeapSpaceError 有一个参数叫做 setMi
onlineda
算法,其Spark\u Version=2.0.2
具有以下属性:-
setK = 50 [Topics]
setmaxIterations = 10
setDocConcenration = -1
settopiConcentration = -1
和配置:
2个工人,每个工人有24Gb内存,每个工人有25GB的驱动程序内存
我用50k文档生成的语料库运行这个算法
我在一个工人身上得到了javaHeapSpaceError
有一个参数叫做
setMiniBatchFraction()
并且我已经将此参数的值设置为0.004
查询:-有人能告诉我有关setMiniBatchFraction()
方法的信息吗
我需要做哪些更改来消除此异常
我是新手,欢迎任何建议。
提前感谢