Scala 运行spark笔记本原型代码的一种直观方法
一旦我使用Spark notebook原型化了Scala代码，我就会将相关单元格复制到一个脚本文件中，并从ApacheSarkCLI调用该脚本文件。是否有一种更惯用的方法来执行此操作，从而帮助代码重用 因此，与其从spark笔记本创建脚本文件，不如通过api调用运行笔记本本身？是的，可以通过Jupyter（IPython）scala笔记本在spark群集上直接运行scala代码 我已经做到了，其中包括： Cloudera Livy Jupyter笔记本电脑 火花魔法（“sparkmagic.magics”） 火花簇 如果您对即插即用的风格感兴趣，另一个选择是使用ApacheZeppelin而不是Jupyter笔记本，因为Zeppelin与Spark天生无缝集成。每种方法都有其优点 编辑： 关于API调用问题，您还可以使用Livy（Livy.io）API和客户端来创建/更新/与/etc Livy会话交互 是的，可以通过Jupyter（IPython）scala笔记本在spark集群上直接运行scala代码 我已经做到了，其中包括： Cloudera Livy Jupyter笔记本电脑 火花魔法（“sparkmagic.magics”） 火花簇 如果您对即插即用的风格感兴趣，另一个选择是使用ApacheZeppelin而不是Jupyter笔记本，因为Zeppelin与Spark天生无缝集成。每种方法都有其优点 编辑： 关于API调用问题，您还可以使用Livy（Livy.io）API和客户端来创建/更新/与/etc Livy会话交互Scala 运行spark笔记本原型代码的一种直观方法,scala,apache-spark,Scala,Apache Spark,一旦我使用Spark notebook原型化了Scala代码，我就会将相关单元格复制到一个脚本文件中，并从ApacheSarkCLI调用该脚本文件。是否有一种更惯用的方法来执行此操作，从而帮助代码重用 因此，与其从spark笔记本创建脚本文件，不如通过api调用运行笔记本本身？是的，可以通过Jupyter（IPython）scala笔记本在spark群集上直接运行scala代码 我已经做到了，其中包括： Cloudera Livy Jupyter笔记本电脑 火花魔法（“sparkmagic.ma