Python 2.7 在ubuntu上为pyspark安装Apache spark_Python 2.7_Pyspark_Ubuntu 16.04

Python 2.7 在ubuntu上为pyspark安装Apache spark

python-2.7 pyspark

Python 2.7 在ubuntu上为pyspark安装Apache spark,python-2.7,pyspark,ubuntu-16.04,Python 2.7,Pyspark,Ubuntu 16.04,在Ubuntu（16.04）本地机器上安装ApacheSpark2.0的简单步骤指南是什么？使用python（pyspark）访问。我曾尝试在网上搜索，但大多数都会出现这样或那样的错误。礼貌：我在这里写我的步骤，因为我看到很少有步骤与预期不同（至少对于ubuntu 16.04）下面是步骤步骤1：从下载最新的预构建版本步骤2：解压缩并移动Spark cd ~/Downloads/ tar xzvf spark-2.0.1-bin-hadoop2.7.tgz mv spark-2

在Ubuntu（16.04）本地机器上安装ApacheSpark2.0的简单步骤指南是什么？使用python（pyspark）访问。我曾尝试在网上搜索，但大多数都会出现这样或那样的错误。

礼貌：

我在这里写我的步骤，因为我看到很少有步骤与预期不同（至少对于ubuntu 16.04）

下面是步骤

步骤1：

从下载最新的预构建版本

步骤2：解压缩并移动Spark

cd ~/Downloads/  
tar xzvf spark-2.0.1-bin-hadoop2.7.tgz  
mv spark-2.0.1-bin-hadoop2.7/ spark  
sudo mv spark/ /usr/lib/

步骤3：安装SBT

echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list  
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823  
sudo apt-get update  
sudo apt-get install sbt

注意：-此步骤中可能存在一些问题。因此，请参考最后提供的链接

步骤4：确保安装了Java。如果不是

sudo apt-add-repository ppa:webupd8team/java  
sudo apt-get update  
sudo apt-get install oracle-java8-installer

步骤5：配置Spark

cd /usr/lib/spark/conf/  
cp spark-env.sh.template spark-env.sh  
vi spark-env.sh

并添加以下内容

JAVA_HOME=/usr/lib/jvm/java-8-oracle  
SPARK_WORKER_MEMORY=4g

步骤6：配置bash文件

使用以下命令打开bashrc文件

vi ~/.bashrc(if you want to use vi editor)
subl ~/.basrc(if you want to use sublime)

在bashrc文件中复制下面的

export JAVA_HOME=/usr/lib/jvm/java-8-oracle  
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar  
export SPARK_HOME=/usr/lib/spark  
export PATH=$PATH:$JAVA_HOME/bin  
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

使用以下命令启动bash文件

source ~/.bashrc

步骤7：现在试试

注意：如果你被sbt安装卡住了（ubuntu 16.04的常见情况），请尝试下面的链接

礼貌：