Python findSpark和PySpark不工作。显示索引器错误:列表索引超出范围
我通过以下几种方法安装了findspark和PySpark。我使用的是Python 3.6、java jdk 11.0。我确实向.bashrc文件中添加了以下两行代码:Python findSpark和PySpark不工作。显示索引器错误:列表索引超出范围,python,pyspark,linux-mint,index-error,Python,Pyspark,Linux Mint,Index Error,我通过以下几种方法安装了findspark和PySpark。我使用的是Python 3.6、java jdk 11.0。我确实向.bashrc文件中添加了以下两行代码: export PATH=$PATH:/home/jbustost/.local/bin export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7 我已经安装了Jupyter笔记本,它运行得很好,但当我尝试使用findspark时就会发生这种情况 import find
export PATH=$PATH:/home/jbustost/.local/bin
export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7
我已经安装了Jupyter笔记本,它运行得很好,但当我尝试使用findspark时就会发生这种情况
import findspark
findspark.find() # out[2]:'/home/jbustos/spark-2.4.4-bin-hadoop2.7'
findspark.init() # it crashes here. below is the traceback.
---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
<ipython-input-7-5f9243a09cec> in <module>
----> 1 findspark.init()
~/.local/lib/python3.6/site-packages/findspark.py in init(spark_home, python_path, edit_rc, edit_profile)
133 # add pyspark to sys.path
134 spark_python = os.path.join(spark_home, 'python')
--> 135 py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip'))[0]
136 sys.path[:0] = [spark_python, py4j]
137
IndexError: list index out of range
导入findspark
findspark.find()#out[2]:“/home/jbustos/spark-2.4.4-bin-hadoop2.7”
findspark.init()#它在这里崩溃。下面是回溯。
---------------------------------------------------------------------------
索引器回溯(最后一次最近调用)
在里面
---->1 findspark.init()
init中的~/.local/lib/python3.6/site-packages/findspark.py(spark\u home,python\u path,edit\u rc,edit\u profile)
133#将pyspark添加到sys.path
134 spark\u python=os.path.join(spark\u home,'python')
-->135 py4j=glob(os.path.join(spark_python,'lib','py4j-*.zip'))[0]
136系统路径[:0]=[spark_python,py4j]
137
索引器:列表索引超出范围
谁能给我指一下正确的方向吗?我错过了什么?我正在尝试在LinuxMint中安装这个。谢谢 我认为Spark 2.4.x还不支持JDK 11。我可以找到添加Java11支持的方法,但它仍然处于开放状态。所以,我建议您现在使用JDK 8 除此之外,你还需要两样东西
$SPARK\u HOME/bin
添加到路径
李>
export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:/home/jbustost/.local/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
要使更改生效,您需要执行
source~/.bashrc
。谢谢!它找到了一个使它工作的方法,稍后将发布它。再次感谢!