Matplotlib 如何让iPython inbuild magic命令在Jupyter笔记本Pyspark内核中工作?
我正在使用Matplotlib 如何让iPython inbuild magic命令在Jupyter笔记本Pyspark内核中工作?,matplotlib,ipython,pyspark,jupyter,apache-toree,Matplotlib,Ipython,Pyspark,Jupyter,Apache Toree,我正在使用PySpark内核,通过Apache Toree安装在Jupyter笔记本中使用Anaconda v4.0.0(Python 2.7.11)。从Hive获取表格后,使用matplotlib/panda在Jupyter笔记本中绘制一些图形,按照以下教程操作: %matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt # Set some Pandas options
PySpark
内核,通过Apache Toree
安装在Jupyter笔记本中使用Anaconda v4.0.0
(Python 2.7.11
)。从Hive
获取表格后,使用matplotlib/panda
在Jupyter笔记本中绘制一些图形,按照以下教程操作:
%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# Set some Pandas options
pd.set_option('display.notebook_repr_html', False)
pd.set_option('display.max_columns', 20)
pd.set_option('display.max_rows', 25)
normals = pd.Series(np.random.normal(size=10))
normals.plot()
当我试图使用%matplotlib inline时,第一个链接被卡住了,它显示
Name: Error parsing magics!
Message: Magics [matplotlib] do not exist!
StackTrace:
查看和,我意识到%matplotlib
正在调用MagicManager
,而不是在build magic命令中调用iPython
Apache Toree-PySpark有可能在build magic命令中使用iPython吗?我为PySpark和magic命令做了一个变通方法,而不是直接在Jupyter笔记本上安装Toree-PySpark内核
下载并安装Anaconda2 4.0.0
下载Spark 1.6.0
为Hadoop 2.6
使用以下命令追加~/.bashrc
,然后输入source~/.bashrc
以更新环境变量
#添加到运行spark
export PATH=“{your_spark_dir}spark/sbin:$PATH”
export PATH=“{your_spark_dir}spark/bin:$PATH”
#添加到以群集模式启动spark应用程序
导出JAVA_HOME=/usr/lib/jvm/JAVA-8-openjdk-amd64/jre
#接下来的两条线是可选的,仅需要火花束
导出HADOOP_CONF_DIR={your_HADOOP_CONF}/HADOOP CONF
export\u CONF\u DIR={your\u hadoop\u CONF}/hadoop CONF
#由Anaconda2 4.0.0安装程序添加
export PATH=“{your_anaconda_dir}/anaconda/bin:$PATH”
#添加到jupyter笔记本中运行PypSpark
导出PYSPARK_驱动程序_PYTHON={your_anaconda_dir}/anaconda/bin/jupyter
导出PYSPARK\u DRIVER\u PYTHON\u OPTS=“notebook--NotebookApp.open\u browser=False--NotebookApp.ip='0.0.0.0'--NotebookApp.port=8888”
导出PYSPARK_PYTHON={your_anaconda_dir}/anaconda/bin/PYTHON
运行Jupyter笔记本电脑
pyspark--master=warn--deploy mode=client
以群集模式启动笔记本运行pyspark
打开浏览器并输入计算机的IP地址8888
免责声明
这只是一个解决方法,不是解决问题的实际方法。如果您找到了Toree PySpark
ipython inbuild magic命令的工作方法,请告诉我。Magic命令,如%matplotlib notebook
安装matplotlib
?@zero323我可以导入matplotlib
,但当我尝试在Jupyter笔记本控制台上运行%matplotlib inline
时,显示16/09/20 09:40:24错误Magic魔法能起作用吗?