Python pyspark在windows中从ubuntu wsl运行,错误:未找到cmd
我正在Windows10的ubuntu wsl中安装pyspark。这些是我从Microsoft Store安装wsl后使用的命令Python pyspark在windows中从ubuntu wsl运行,错误:未找到cmd,python,windows,apache-spark,ubuntu,windows-subsystem-for-linux,Python,Windows,Apache Spark,Ubuntu,Windows Subsystem For Linux,我正在Windows10的ubuntu wsl中安装pyspark。这些是我从Microsoft Store安装wsl后使用的命令 #install Java runtime environment (JRE) sudo apt-get install openjdk-8-jre-headless export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/jre #download spark, visit https://spark.apac
#install Java runtime environment (JRE)
sudo apt-get install openjdk-8-jre-headless
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/jre
#download spark, visit https://spark.apache.org/downloads.html if you want a different version
wget https://apache.osuosl.org/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
#untar and set a symlink
sudo tar -xvzf spark-2.4.7-bin-hadoop2.7.tgz -C /opt
sudo ln -s spark-2.4.7-bin-hadoop2.7 /opt/spark
ln -s /usr/bin/python3.8.5 python
/opt/spark/bin/pyspark
错误:
我无法理解为什么它会出现在C驱动器中。如何解决这个问题?非常感谢您的帮助。不要创建符号链接,而是尝试将解包目录spark-3.0.1-bin-hadoop2.7移动到opt/spark目录:
sudo mv spark-3.0.1-bin-hadoop2.7 /opt/spark
另外,请使用最新版本,即带有Hadoop 2.7的Spark 3.0.1
您可以在线阅读此内容以了解更多详细信息。它无法解决问题,但出现了相同的错误。我可以运行使用scala的spark shell,但我想运行pyspark。
sudo mv spark-3.0.1-bin-hadoop2.7 /opt/spark