Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/perl/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何分别从tarball安装Spark和Hadoop[Cloudera]_Hadoop_Apache Spark_Cloudera_Cloudera Cdh_Spark Streaming - Fatal编程技术网

如何分别从tarball安装Spark和Hadoop[Cloudera]

如何分别从tarball安装Spark和Hadoop[Cloudera],hadoop,apache-spark,cloudera,cloudera-cdh,spark-streaming,Hadoop,Apache Spark,Cloudera,Cloudera Cdh,Spark Streaming,我想使用tarball安装Hadoop和Spark的Cloudera发行版。 我已经在本地机器上以伪分布式模式设置了Hadoop,并成功运行了一个示例 我已从下载了最新的Tarbolls CDH 5.3.x 但是从Cloudera下载的Spark的文件夹结构与Apache网站不同。这可能是因为Cloudera提供了单独维护的自己的版本 所以,由于我还没有找到任何文档,所以我还没有从Cloudera的tarball中单独安装Spark。 有人能帮我理解怎么做吗?Spark可以被提取到任何目录。您只

我想使用tarball安装Hadoop和Spark的Cloudera发行版。 我已经在本地机器上以伪分布式模式设置了Hadoop,并成功运行了一个示例

我已从下载了最新的Tarbolls CDH 5.3.x

但是从Cloudera下载的Spark的文件夹结构与Apache网站不同。这可能是因为Cloudera提供了单独维护的自己的版本

所以,由于我还没有找到任何文档,所以我还没有从Cloudera的tarball中单独安装Spark。
有人能帮我理解怎么做吗?

Spark可以被提取到任何目录。您只需使用提交作业所需的参数运行
/bin/spark submit
命令(在提取的spark目录中提供)。要启动spark interactive shell,请使用命令
/bin/spark shell

运行
/bin/spark shell
ls:无法访问/../spark-1.2.0-cdh5.3.2/assembly/target/scala-2.10时出现此错误:在/../spark-1.2.0-cdh5.3.2/assembly/target/scala-2.10中找不到任何此类文件或目录。运行此程序之前,您需要构建spark。此tarball似乎不包含所有spark的依赖关系。如果在spark dir中创建一个虚拟文件版本,并将.jar文件从spark文件夹移动到./lib/,那么您面临的错误将消失,但您将面临另一个错误“java.lang.NoClassDefFoundError”。若发布文件不在那个里,那个么它假定它需要构建spark程序集。我已经从Apache网站下载了Spark,我能够在HDP2.2沙盒上毫无问题地使用它。另外,这个spark程序集jar文件比CDH tarball jar文件大,似乎包含了所有的依赖项。是的,我使用过Apache网站上的spark,但我无法理解从Cloudera下载的一个。并且没有关于构建的文档