Apache spark 为什么Spark job会在Mesos上失败；hadoop:找不到“；？

我在Debian 8上使用Spark 1.6.1、Hadoop 2.6.4和Mesos 0.28

尝试通过

spark submit

向Mesos群集提交作业时，从机失败，在stderr日志中出现以下情况：

I0427 22:35:39.626055 48258 fetcher.cpp:424] Fetcher Info: {"cache_directory":"\/tmp\/mesos\/fetch\/slaves\/ad642fcf-9951-42ad-8f86-cc4f5a5cb408-S0\/hduser","items":[{"action":"BYP$
I0427 22:35:39.628031 48258 fetcher.cpp:379] Fetching URI 'hdfs://xxxxxxxxx:54310/sources/spark/SimpleEventCounter.jar'
I0427 22:35:39.628057 48258 fetcher.cpp:250] Fetching directly into the sandbox directory
I0427 22:35:39.628078 48258 fetcher.cpp:187] Fetching URI 'hdfs://xxxxxxx:54310/sources/spark/SimpleEventCounter.jar'
E0427 22:35:39.629243 48258 shell.hpp:93] Command 'hadoop version 2>&1' failed; this is the output:
sh: 1: hadoop: not found
Failed to fetch 'hdfs://xxxxxxx:54310/sources/spark/SimpleEventCounter.jar': Failed to create HDFS client: Failed to execute 'hadoop version 2>&1'; the command was e$
Failed to synchronize with slave (it's probably exited)

我的Jar文件包含hadoop 2.6二进制文件

spark executor/binary的路径是通过

hdfs://

链接

---

我的作业不会出现在框架选项卡中，但它们确实会出现在驱动程序中，状态为“排队”，它们只是坐在那里，直到我关闭

spark mesos dispatcher.sh

服务。

我看到一个非常类似的错误，我发现我的问题是hadoop\u home没有设置在mesos代理中。 我在每个mesos从机上添加了以下行：

mesos\u hadoop\u home=“/path/to/my/hadoop/install/folder/”

---

编辑：Hadoop必须安装在每个从机上，路径/to/my/haoop/install/文件夹是本地路径

我看到了一个非常类似的错误，我发现我的问题是Hadoop\u home没有设置在mesos代理中。 我在每个mesos从机上添加了以下行：

mesos\u hadoop\u home=“/path/to/my/hadoop/install/folder/”

---

编辑：Hadoop必须安装在每个从机上，路径/to/my/haoop/install/文件夹是本地路径

您是否在mesos从机上配置了Hadoop_home？似乎它无法在mesos奴隶上找到hadoop的家！在Mesos的JIRA上也有类似的。检查您的机器上是否安装了

curl

。您如何

spark submit

，也就是说，您能否显示整个命令行？目前，我移动到Thread以运行作业，我将在本周晚些时候回到这里。对耽搁表示歉意。仅供参考，所有机器上都安装了curl，并且还配置了hadoop_home/spark提交--类事件计数器--主mesos://xxxxx:7077 --部署模式客户端--监控--执行器内存500米hdfs://xxxxx:54310/sources/spark/SimpleEventCounter.jarHave 您在mesos从机上配置了hadoop\u home？似乎它无法在mesos奴隶上找到hadoop的家！在Mesos的JIRA上也有类似的。检查您的机器上是否安装了

curl

。您如何

spark submit

，也就是说，您能否显示整个命令行？目前，我移动到Thread以运行作业，我将在本周晚些时候回到这里。对耽搁表示歉意。仅供参考，所有机器上都安装了curl，并且还配置了hadoop_home/spark提交--类事件计数器--主mesos://xxxxx:7077 --部署模式客户端--监控--执行器内存500米hdfs://xxxxx:54310/sources/spark/SimpleEventCounter.jar