Apache spark 从1.3.0升级到1.6.0时火花流性能下降

我正在使用一个Spark流媒体应用程序，它从Kafka读取avro消息并进行处理。流式处理的批处理时间为20秒

我有一个应用程序在Spark 1.3.0上运行，每个批次的调度延迟为0毫秒，但现在升级到Spark 1.6.0后，我发现调度延迟增加，单个批次的处理时间需要更多时间

由于Spark版本的升级，处理时间正在增加，但应用程序正在以相同的配置和相同的接收消息速率运行

从Spark web UI中，我可以看到似乎需要花费大量时间的操作是一个DStream对象上的映射。这对我来说很奇怪，因为这不是一个特别繁重的操作

有没有人注意到将spark和spark streaming升级到1.6.0的问题

---

提前感谢

我注意到spark 1.6.0使用不同的内存管理。为了使用旧的内存管理模式，我在spurk submit中将LegacyMode转换为true，但我仍然注意到应用程序在性能方面不能正常工作。我注意到spark 1.6.0使用不同的内存管理。为了使用旧的内存管理模式，我在spurk submit中将LegacyMode传递为true，但我仍然注意到应用程序在性能方面不能正常工作。