“线程中的异常”;“主要”;java.lang.IllegalArgumentException:pyspark不支持任何应用程序选项
在pyspark中配置jupyter笔记本时,它出现了一些错误: 在.bashrc文件中:“线程中的异常”;“主要”;java.lang.IllegalArgumentException:pyspark不支持任何应用程序选项,pyspark,Pyspark,在pyspark中配置jupyter笔记本时,它出现了一些错误: 在.bashrc文件中: export PATH="/root/anaconda3/bin:$PATH" export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip" 当我输入pyspark时,它显示[C 13:51:52.029 NotebookApp]不建议以root用户身份运行。使用--允许root绕
export PATH="/root/anaconda3/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip"
当我输入pyspark时,它显示[C 13:51:52.029 NotebookApp]不建议以root用户身份运行。使用--允许root绕过。
我使用了pyspark--allow root
,但它显示:
Exception in thread "main" java.lang.IllegalArgumentException: pyspark does not support any application options.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildPySparkShellCommand(SparkSubmitCommandBuilder.java:290)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:147)
at org.apache.spark.launcher.Main.main(Main.java:86)
有什么问题吗?将.bashrc文件替换为:
export PATH="/root/anaconda3/bin:$PATH"
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=my ip --allow-root"