Python findSpark和PySpark不工作。显示索引器错误:列表索引超出范围

Python findSpark和PySpark不工作。显示索引器错误:列表索引超出范围,python,pyspark,linux-mint,index-error,Python,Pyspark,Linux Mint,Index Error,我通过以下几种方法安装了findspark和PySpark。我使用的是Python 3.6、java jdk 11.0。我确实向.bashrc文件中添加了以下两行代码: export PATH=$PATH:/home/jbustost/.local/bin export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7 我已经安装了Jupyter笔记本,它运行得很好,但当我尝试使用findspark时就会发生这种情况 import find

我通过以下几种方法安装了findspark和PySpark。我使用的是Python 3.6、java jdk 11.0。我确实向.bashrc文件中添加了以下两行代码:

export PATH=$PATH:/home/jbustost/.local/bin
export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7
我已经安装了Jupyter笔记本,它运行得很好,但当我尝试使用findspark时就会发生这种情况

import findspark
findspark.find() # out[2]:'/home/jbustos/spark-2.4.4-bin-hadoop2.7'
findspark.init() # it crashes here. below is the traceback.
---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)

<ipython-input-7-5f9243a09cec> in <module>
----> 1 findspark.init()

~/.local/lib/python3.6/site-packages/findspark.py in init(spark_home, python_path, edit_rc, edit_profile)
    133     # add pyspark to sys.path
    134     spark_python = os.path.join(spark_home, 'python')
--> 135     py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip'))[0]
    136     sys.path[:0] = [spark_python, py4j]
    137 

IndexError: list index out of range
导入findspark
findspark.find()#out[2]:“/home/jbustos/spark-2.4.4-bin-hadoop2.7”
findspark.init()#它在这里崩溃。下面是回溯。
---------------------------------------------------------------------------
索引器回溯(最后一次最近调用)
在里面
---->1 findspark.init()
init中的~/.local/lib/python3.6/site-packages/findspark.py(spark\u home,python\u path,edit\u rc,edit\u profile)
133#将pyspark添加到sys.path
134 spark\u python=os.path.join(spark\u home,'python')
-->135 py4j=glob(os.path.join(spark_python,'lib','py4j-*.zip'))[0]
136系统路径[:0]=[spark_python,py4j]
137
索引器:列表索引超出范围

谁能给我指一下正确的方向吗?我错过了什么?我正在尝试在LinuxMint中安装这个。谢谢

我认为Spark 2.4.x还不支持JDK 11。我可以找到添加Java11支持的方法,但它仍然处于开放状态。所以,我建议您现在使用JDK 8

除此之外,你还需要两样东西

  • 需要将
    $SPARK\u HOME/bin
    添加到
    路径
  • 需要添加pyspark驱动程序选项以链接jupyter和pyspark 能否尝试将以下内容添加到bashrc

    export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7
    export PATH=$SPARK_HOME/bin:/home/jbustost/.local/bin:$PATH
    export PYSPARK_DRIVER_PYTHON=jupyter
    export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
    

    要使更改生效,您需要执行
    source~/.bashrc

    谢谢!它找到了一个使它工作的方法,稍后将发布它。再次感谢!