Apache spark 运行bin/pyspark时出现错误,需要在运行此程序之前构建Spark

Apache spark 运行bin/pyspark时出现错误,需要在运行此程序之前构建Spark,apache-spark,apache-spark-sql,pyspark,spark-streaming,spark-view-engine,Apache Spark,Apache Spark Sql,Pyspark,Spark Streaming,Spark View Engine,我正从Spark开始 我在启动spark时遇到问题 我是从spark官方网站下载的,我正在尝试从这里快速启动 我已下载安装sparkhome.,当我尝试从bin目录运行./pyspark时,出现以下错误: soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark [sudo] password for soundarya: ls: cannot access /home/soundarya/Downloads/spark-1

我正从Spark开始

我在启动spark时遇到问题

我是从spark官方网站下载的,我正在尝试从这里快速启动

我已下载安装sparkhome.,当我尝试从bin目录运行./pyspark时,出现以下错误:

soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10.
You need to build Spark before running this program.
soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ 

有人能帮我弄清楚吗

如果要使用源代码分发,必须首先构建Spark。您可以在中找到详细信息

否则,只需下载一个二进制发行版,并从下载中选择预构建:

也不要使用过时的文档。您可以使用最新版本:

或特定版本


下载spark的预构建版本,如建议的zero323。另外,在sudo模式下运行spark也不是一个好的做法。

检查spark文件夹名称中的空格,如spark 2.4,然后将其删除,使spark-2.4能够解决问题。

您好,感谢您的回复。我试着运行它。2009年11月15日14:28:03错误NettyTransport:无法绑定到/192.168.0.109:0,正在关闭Netty transport 2009年11月15日14:28:03错误SparkContext:初始化SparkContext时出错。java.net.BindException:未能绑定到:/192.168.0.109:0:服务“sparkDriver”在重试16次后失败!py4j.protocol.Py4JJavaError:调用None.org.apache.spark.api.java.JavaSparkContext时出错:java.net.BindException:未能绑定到:/192.168.0.109:0:服务“sparkDriver”在重试16次后失败!我在您的conf/spark-env.sh文件中下载了spark-1.5.0-bin-hadoop2.4/binWhats?你试过先打开火花壳吗?bin/spark shell当我尝试运行spark shell时,出现了错误:OpenJDK 64位服务器VM警告:INFO:os::commit_memory0x00000000bf8000,716177408,0失败;error='cannotallocate memory'errno=12内存不足,Java运行时环境无法继续。本机内存分配malloc无法分配716177408字节以提交保留内存。包含更多信息的错误报告文件另存为:/home/soundarya/Downloads/spark-1.5.0-bin-hadoop2.4/bin/hs_err_pid16684.logsoundarya@soundarya:~/Downloads/spark-1.5.0-bin-hadoop2.4/bin$这是因为您的计算机内存不足。您正在分配的执行器内存/驱动程序内存是什么?你的机器上有多少内存?嗨,我试着按建议下载:spark-1.5.0-bin-hadoop2.4预编译版..但我还是遇到了错误。。OpenJDK 64位服务器VM警告:信息:os::提交_内存0x00000007D5500000,716177408,0失败;error='cannotallocate memory'errno=12内存不足,Java运行时环境无法继续。本机内存分配malloc无法分配716177408字节以提交保留内存。包含更多信息的错误报告文件另存为:/home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log您的计算机上有多少内存?这是一个JVM堆错误,与spark无关。您可以尝试在conf/spark-defaults.conf文件中设置spark.driver.memory和spark.executor.memory。或者简单地从终端导出JAVA_OPTIONS=-Xmx1g;拾取的JAVA\u选项:-Xmx1g raise ExceptionJava网关进程在发送驱动程序其端口号之前退出异常:JAVA网关进程在发送驱动程序其端口号之前退出>>>内存不足,JAVA运行时环境无法继续。内存不足,JAVA运行时环境无法继续继续你的机器有多少内存?嗨,阿基德,我已经把它作为单独的答案贴出来了。