Amazon web services AWS上带Spark 1.61的Ipython

我正在尝试使用Spark 1.6.1在我的AWS EMR Spark群集上运行Ipython。这是一个很好的例子，但似乎只适用于spark 1.3.1。有人有什么想法吗

所以经过一番挖掘，我自己找到了答案。我经历了几个步骤：

使用spark启动AWS EMR群集

pip安装jupyter

生成jupyter笔记本配置文件：

jupyter笔记本--生成配置

修改该配置文件以包括：

c.Notebook.ip='*'

c.Notebook.open\u browser=False

使用iptyhon选项启动笔记本电脑：

IPYTHON\u OPTS=“notebook”pyspark

按照以下步骤设置到主节点的SSH隧道

转到本地主机：

---

就这样

所以经过一番挖掘，我自己找到了答案。我经历了几个步骤：

使用spark启动AWS EMR群集

pip安装jupyter

生成jupyter笔记本配置文件：

jupyter笔记本--生成配置

修改该配置文件以包括：

c.Notebook.ip='*'

c.Notebook.open\u browser=False

使用iptyhon选项启动笔记本电脑：

IPYTHON\u OPTS=“notebook”pyspark

按照以下步骤设置到主节点的SSH隧道

转到本地主机：

就这样