Scala “如何修复”；协议消息被拒绝，因为它太大”；从谷歌Protobuf在Mesos上的Spark？

我正在通过Scala代码运行Spark 1.5.1，并调用ALS训练方法（mllib）。我的代码使用MESOS执行器。由于数据很大，我得到以下错误：

15/11/03 12:53:45信息任务集管理器：在阶段0.0中启动任务7.0 （TID 7，进程本地，128730328字节）[libprotobuf错误 google/protobuf/io/coded_stream.cc:171]发送了一条协议消息 被拒绝，因为它太大（超过67108864字节）。到 增加限制（或禁用这些警告），请参阅 CodedInputStream:：中的SetTotalBytesLimit（） google/protobuf/io/coded_stream.h

---

关于如何增加限制有什么想法吗？

听起来您正在达到“spark.kryoserializer.buffer.max”的限制。 检查protobuf是否使用kryo序列化程序。 如果是，您需要推动“spark.kryoserializer.buffer.max”的限制，该限制可以设置为2047m