Scala Spark从客户端计算机提交

Scala Spark从客户端计算机提交,scala,apache-spark,apache-spark-ml,spark-submit,Scala,Apache Spark,Apache Spark Ml,Spark Submit,我们已经在linux平台上实现了hadoop。我们使用scala spark来开发使用spark机器学习库的模型。我只是使用notepad++创建*.scala文件并在数据节点上执行它们。我想知道我是否可以从本地计算机(windows计算机)使用ECLICE或Intellij IDE并连接到spark来测试scala spark脚本。您可以使用基于浏览器的笔记本电脑,如ipython或jupyter(因为它支持scala)来测试脚本。但是,您需要将其连接到Hadoop Spark,如中所述:非常

我们已经在linux平台上实现了hadoop。我们使用scala spark来开发使用spark机器学习库的模型。我只是使用notepad++创建*.scala文件并在数据节点上执行它们。我想知道我是否可以从本地计算机(windows计算机)使用ECLICE或Intellij IDE并连接到spark来测试scala spark脚本。

您可以使用基于浏览器的笔记本电脑,如ipython或jupyter(因为它支持scala)来测试脚本。但是,您需要将其连接到Hadoop Spark,如中所述:

非常感谢您的回复。我读了一篇名为sparkmagic的文章,通过jupyter将客户机上的spark连接起来。我们可以使用jupyter将*.scala编译成jar文件吗。