Apache spark Pyspark-fpgrowth-关联规则-StackOverflow错误

我有一个巨大的数据框架（500万行），每一行都是一篮子项目，我正在尝试获取频繁的项目集和关联规则。但它给了我StackOverflowers错误，我尝试设置检查点目录，但没有解决问题。你知道怎么解决这个问题吗？提前多谢

fpGrowth = FPGrowth(itemsCol="ARFeatures", minSupport=0.8, minConfidence=0.9)

model = fpGrowth.fit(completeDf)

java.lang.StackOverflower错误 位于java.lang.reflect.InvocationTargetException。（InvocationTargetException.java:72） 位于sun.reflect.GeneratedMethodAccessor14.invoke（未知源） 在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中 位于java.lang.reflect.Method.invoke（Method.java:498） 位于java.io.ObjectStreamClass.invokeWriteObject（ObjectStreamClass.java:1028） 位于java.io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1496） 位于java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） 位于java.io.ObjectOutputStream.WriteObject 0（ObjectOutputStream.java:1178） 位于java.io.ObjectOutputStream.defaultWriteFields（ObjectOutputStream.java:1548） 位于java.io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1509） 位于java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） 位于java.io.ObjectOutputStream.WriteObject 0（ObjectOutputStream.java:1178） 位于java.io.ObjectOutputStream.writeObject（ObjectOutputStream.java:348） 位于scala.collection.mutable.HashMap$$anonfun$writeObject$1.apply（HashMap.scala:138） 位于scala.collection.mutable.HashMap$$anonfun$writeObject$1.apply（HashMap.scala:136） 位于scala.collection.mutable.HashTable$class.foreachEntry（HashTable.scala:230） 位于scala.collection.mutable.HashMap.foreachEntry（HashMap.scala:40） 位于scala.collection.mutable.HashTable$class.serializeTo（HashTable.scala:125） 位于scala.collection.mutable.HashMap.serializeTo（HashMap.scala:40） 位于scala.collection.mutable.HashMap.writeObject（HashMap.scala:136） 位于sun.reflect.GeneratedMethodAccessor14.invoke（未知源） 在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中 位于java.lang.reflect.Method.invoke（Method.java:498） 位于java.io.ObjectStreamClass.invokeWriteObject（ObjectStreamClass.java:1028） 位于java.io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1496） 位于java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） 位于java.io.ObjectOutputStream.WriteObject 0（ObjectOutputStream.java:1178） 位于java.io.ObjectOutputStream.defaultWriteFields（ObjectOutputStream.java:1548） 位于java.io.ObjectOutputStream.writeSerialData（ObjectOutputStream.java:1509） 位于java.io.ObjectOutputStream.writeOrdinaryObject（ObjectOutputStream.java:1432） 位于java.io.ObjectOutputStream.WriteObject 0（ObjectOutputStream.java:1178） 位于java.io.ObjectOutputStream.writeObject（ObjectOutputStream.java:348） 位于scala.collection.mutable.HashMap$$anonfun$writeObject$1.apply（HashMap.scala:138）

---

增加驱动程序堆栈大小。这取决于您如何执行应用程序，您需要正确地传递驱动程序JVM选项

对于spark submit，您可以将其添加为命令行参数：

--conf "spark.driver.extraJavaOptions=-Xss10m"

有关更多详细信息，请查看以下内容：

---

增加驱动程序堆栈大小。这取决于您如何执行应用程序，您需要正确地传递驱动程序JVM选项

对于spark submit，您可以将其添加为命令行参数：

--conf "spark.driver.extraJavaOptions=-Xss10m"

有关更多详细信息，请查看以下内容：

---

我不知道FPGrowth的内部结构，但您是否尝试过增加堆栈大小？（JVM选项-Xss）这是spark submit的命令行参数之一吗？我不知道FPGrowth的内部结构，但您是否尝试过增加堆栈大小？（JVM选项-Xss）这是spark submit的命令行参数之一吗？“spark.driver.extraJavaOptions=-Xss10m”适合我“spark.driver.extraJavaOptions=-Xss10m”适合我