Apache spark Spark向后兼容性1.6 vs 2.0

我正在使用spark 1.4代码，现在我们计划迁移到spark 2.0，当我查看下面的文档时，只有几个功能是向后兼容的，这是否意味着我已经更改了大部分代码

Spark 2.0最大的变化之一是新的更新API：

统一DataFrame和Dataset：在Scala和Java中，DataFrame和Dataset是统一的，即DataFrame只是 行的数据集。在Python和R中，由于缺乏类型安全性， DataFrame是主要的编程接口。 SparkSession：为DataFrame和Dataset API替换旧的SQLContext和HiveContext的新入口点。SQLContext和 保留HiveContext是为了向后兼容。 用于SparkSession的新的简化配置API 更简单、更高性能的累加器API 用于数据集中类型化聚合的新的、改进的聚合器API

---

如评论中所述，Spark有一个迁移指南要遵循。你可以查一下

除了文档中引用的内容外，1.6和2.0之间没有太多变化

为了回答这个问题，我还想说这要视情况而定

---

e、 g最近，我不得不将一个机器学习应用程序从1.6.3迁移到2.0.2，这是我在MLLib中列出的地方必须做的唯一更改。

如评论中所述，Spark有一个迁移指南要遵循。你可以查一下

除了文档中引用的内容外，1.6和2.0之间没有太多变化

为了回答这个问题，我还想说这要视情况而定

---

e、 g最近，我不得不将一个机器学习应用程序从1.6.3迁移到2.0.2，这是我在MLLib中列出的地方所做的唯一更改。

这是否意味着我已经更改了大部分代码-好吧，你只是阅读了文档，似乎是的。@T.Gawęda我不确定我是否理解OP的问题。spark有一个迁移指南@eliasah我理解它，因为我将被迫重写我的大部分代码，以使其在Spark 2上工作。迁移指南是一个很好的参考资料，用它发布答案：答案当然要视情况而定，但更准确的是：PThanks@T.Gawęda。我已经发布了一个快速的答案。这是否意味着我已经更改了我的大部分代码-嗯，你似乎只是阅读了文档，所以是的。@T.Gawęda我不确定我是否理解OP的问题。spark有一个迁移指南@eliasah我理解它，因为我将被迫重写我的大部分代码，以使其在Spark 2上工作。迁移指南是一个很好的参考资料，用它发布答案：答案当然要视情况而定，但更准确的是：PThanks@T.Gawęda。我已经发布了一个快速的答案。