Apache spark 从云中的Web应用程序调用Jupyter笔记本

我有一个jupyter笔记本，它在AWS EMR集群上使用Spark执行一些计算。我对它进行了配置，以便我可以通过浏览器访问并运行笔记本进行机器学习我正在寻找解决方案，使我能够，在AWS上运行的web应用程序中按计划或按需触发笔记本电脑

我已经研究了，它允许从终端运行笔记本并执行各种格式的转换。但是，我不清楚如何从web应用程序触发此操作

大声思考

---

似乎我想让EMR集群启动并运行，然后让web应用程序在集群上调用一个脚本，该脚本将使用nbconvert并运行笔记本？

我们为Jupyter笔记本服务器编写了一个简单的扩展，允许您使用HTTP请求执行笔记本：

---

还提供了类似的功能。

“来自web应用程序”——太模糊了。这个“web应用程序”运行的是什么？只是亚马逊Linux，对吗？因此，您可以尝试在安装了Python和Jupyter的任何地方运行

nbconvert

，如果外部事件“运行笔记本”，会发生什么情况？例如，打开笔记本的另一个浏览器窗口是否会更新其单元格？听起来你好像在试图在使用jupyter原型和制作生产版本之间节省一步，也许你忽略了笔记本原型和生产版本之间的差异，因为它们有不同的要求和受众。@cricket_007-是的，web应用程序有Amazon Linux。但是，如果您安装Python&Jupyter并在本地运行，那么它在本地运行是否正确？我正在执行的操作需要EMR集群中的几个节点，因为它会执行一些远程运行的处理<代码>spark提交--主控。您需要配置Jupyter内核来设置主地址。我建议您将noteboook代码解压缩到您提交到的

.py

文件中spark@cricket_007我已经将笔记本转换成了.py，但我想我不清楚如何使用它。既然jupyter笔记本电脑只是一个网络界面——我想我可以按照你的建议使用spark submit在EMR集群上运行它？