Python 在开发Spark应用程序时使用多种语言

我正在和另一个人做一个项目。我的部分项目涉及Spark的机器学习分析，而我的队友正在使用Spark流将数据从源传输到程序，再输出到接口

我计划使用Scala，因为它对Spark有最好的支持。但是，我的队友没有任何Scala经验，可能更喜欢使用Python

---

考虑到我们的程序部分正在做两件不同的事情，让他的Python脚本调用我的Scala可执行文件对我们来说是个好主意吗？或者使用不同的语言会在以后引起复杂的问题吗？

一个有经验的开发人员将能够学会一种新的语言，并很快变得高效

我只想把两种语言结合在一起：

最后期限太紧，开发商无法跟上进度

模块之间的集成非常有限（您相信这不会改变），并且

有一个明确的部署战略

我建议先做一个小规模的测试，以确认您的部署和集成计划是否可行。

我是Python粉丝。 当我开始使用Spark时，继续使用Python或切换到Scala或Java有点困惑

但在尝试Python开发一些基本应用程序之后，我开始感到厌烦，因为我们使用的Python不再是普通的Python，难以调试可能会导致不可见的问题

所以我改用Scala。原因如下：

这比你想象的容易

您可以从Spark代码库学习，了解Spark的工作原理

它非常棒，比带有lambda函数的Java好得多

看这个

---

PySpark和Spark是两个并行运行的项目。如果您刚开始使用Scala，那么对API的更新会更加频繁，并且您总是首先获得新功能。学习Scala和学习任何其他语言一样，你会从中受益。我投票决定结束这个问题主要是基于观点的。我不认为这个问题主要是基于观点的。我在问一个定义明确的问题——“以后使用不同的语言会不会带来复杂问题？”——这可以通过一些例子来回答，比如为什么或者为什么不使用两种语言的方法可能适合我的场景，也可能不适合我的场景。lambda函数是从java 8开始提供的