SparkR collect方法在Java堆空间上因OutOfMemory而崩溃

使用SparkR，我试图让PoC收集我从包含大约400万行的文本文件中创建的RDD

我的Spark集群运行在Google云上，是bdutil部署的，由1个主服务器和2个工作服务器组成，每个服务器有15gb的RAM和4个内核。我的HDFS存储库基于带有gcs connector 1.4.0的Google存储。 SparkR安装在每台机器上，基本测试在小文件上进行

以下是我使用的脚本：

Sys.setenv("SPARK_MEM" = "1g")
sc <- sparkR.init("spark://xxxx:7077", sparkEnvir=list(spark.executor.memory="1g"))
lines <- textFile(sc, "gs://xxxx/dir/")
test <- collect(lines)

然后在CTRL-C返回R提示符后，我再次尝试运行collect方法，结果如下：

[Stage 1:==========================================================>                                                                                   (28 + 9) / 68]15/06/04 13:42:08 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriver-akka.remote.default-remote-dispatcher-5] shutting down ActorSystem [sparkDriver]
java.lang.OutOfMemoryError: Java heap space
        at org.spark_project.protobuf.ByteString.toByteArray(ByteString.java:515)
        at akka.remote.serialization.MessageContainerSerializer.fromBinary(MessageContainerSerializer.scala:64)
        at akka.serialization.Serialization$$anonfun$deserialize$1.apply(Serialization.scala:104)
        at scala.util.Try$.apply(Try.scala:161)
        at akka.serialization.Serialization.deserialize(Serialization.scala:98)
        at akka.remote.MessageSerializer$.deserialize(MessageSerializer.scala:23)
        at akka.remote.DefaultMessageDispatcher.payload$lzycompute$1(Endpoint.scala:58)
        at akka.remote.DefaultMessageDispatcher.payload$1(Endpoint.scala:58)
        at akka.remote.DefaultMessageDispatcher.dispatch(Endpoint.scala:76)
        at akka.remote.EndpointReader$$anonfun$receive$2.applyOrElse(Endpoint.scala:937)
        at akka.actor.Actor$class.aroundReceive(Actor.scala:465)
        at akka.remote.EndpointActor.aroundReceive(Endpoint.scala:415)
        at akka.actor.ActorCell.receiveMessage(ActorCell.scala:516)
        at akka.actor.ActorCell.invoke(ActorCell.scala:487)
        at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238)
        at akka.dispatch.Mailbox.run(Mailbox.scala:220)
        at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

我理解异常消息，但我不明白为什么我第二次收到这个消息。 另外，为什么收集在Spark中完成后再也不会返回

我用谷歌搜索了我掌握的每一条信息，但我没有找到解决办法。任何帮助或暗示都将不胜感激

---

感谢

这似乎是Java内存中对象表示的简单组合，效率低下，再加上一些明显的长寿命对象引用，导致一些集合无法及时进行垃圾收集，以便新的collect（）调用覆盖旧的集合

---

我尝试了一些选项，对于我的示例256MB文件（包含约4M行），我确实重现了您的行为，第一次使用collect很好，但第二次使用

SPARK\u MEM=1g

。然后我设置了

SPARK\u MEM=4g

，然后我可以按住ctrl+c并重新运行

测试。我不知道SPARK脚本，但SPARK上下文必须很近才能返回提示。感谢您的回答。这是交互模式，所以我不关闭上下文是正常的。这就像使用spark-shell。您的4M行文件有多大？您是否正在缓存数据（RDD）？？嗨，丹尼斯，再次感谢您的帮助。我会调查的，我会尽快给你回复！我对java内存分析工具不是很熟悉，我应该自己去挖掘。谢谢你这么做！那么，您的意思是，即使我们显式地将变量设置为nothing，也存在一个在某个点上阻止垃圾收集的bug？（为了确保我能理解）谢谢！这是微妙的，所以它可能是一个灰色地带，是否会被视为一个可操作的错误；我确实验证了，一旦新的collect（）完成，原始collect（）结果将被垃圾收集，因此，只要第二次调用没有OOM，内存就不会继续泄漏。不过，这里的实际答案是，您至少需要足够的内存来存储2倍的collect（）如果要重新分配到同一变量中，则会显示数据，因为在分配到左侧之前，始终需要对右侧进行求值，因为右侧可能会将左侧变量包含为子表达式。一般来说，对于字符串，如果您的RDD是256MB的明文，那么Java字符串的最小大小是该大小的2倍，因为“char”是2字节，而在明文中是典型的1字节字符，加上字符串包装器的约10%，然后是一般开销。为了安全起见，我会使用3倍的空间。为了澄清字符串开销，它更像是每个字符串40字节。如果你有很小的字符串，字符串开销可能是100%-1000%。如果是100个字符，则开销将接近10%。真正长的字符串的开销百分比更低。编辑：内存中低估了Java字符串；它更像是40字节而不是16字节。
[Stage 1:==========================================================>                                                                                   (28 + 9) / 68]15/06/04 13:42:08 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriver-akka.remote.default-remote-dispatcher-5] shutting down ActorSystem [sparkDriver]
java.lang.OutOfMemoryError: Java heap space
        at org.spark_project.protobuf.ByteString.toByteArray(ByteString.java:515)
        at akka.remote.serialization.MessageContainerSerializer.fromBinary(MessageContainerSerializer.scala:64)
        at akka.serialization.Serialization$$anonfun$deserialize$1.apply(Serialization.scala:104)
        at scala.util.Try$.apply(Try.scala:161)
        at akka.serialization.Serialization.deserialize(Serialization.scala:98)
        at akka.remote.MessageSerializer$.deserialize(MessageSerializer.scala:23)
        at akka.remote.DefaultMessageDispatcher.payload$lzycompute$1(Endpoint.scala:58)
        at akka.remote.DefaultMessageDispatcher.payload$1(Endpoint.scala:58)
        at akka.remote.DefaultMessageDispatcher.dispatch(Endpoint.scala:76)
        at akka.remote.EndpointReader$$anonfun$receive$2.applyOrElse(Endpoint.scala:937)
        at akka.actor.Actor$class.aroundReceive(Actor.scala:465)
        at akka.remote.EndpointActor.aroundReceive(Endpoint.scala:415)
        at akka.actor.ActorCell.receiveMessage(ActorCell.scala:516)
        at akka.actor.ActorCell.invoke(ActorCell.scala:487)
        at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238)
        at akka.dispatch.Mailbox.run(Mailbox.scala:220)
        at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

dhuo@dhuo-sparkr-m:~$ jps | grep SparkRBackend
8709 SparkRBackend

jmap -heap:format=b 8709
mv heap.bin heap0.bin

Heap Histogram

All Classes (excluding platform)

Class   Instance Count  Total Size
class [B    25126   14174163
class [C    19183   1576884
class [<other>  11841   1067424
class [Lscala.concurrent.forkjoin.ForkJoinTask; 16  1048832
class [I    1524    769384
...

Heap Histogram

All Classes (excluding platform)

Class   Instance Count  Total Size
class [C    2784858 579458804
class [B    27768   70519801
class java.lang.String  2782732 44523712
class [Ljava.lang.Object;   2567    22380840
class [I    1538    8460152
class [Lscala.concurrent.forkjoin.ForkJoinTask; 27  1769904