InvalidResourceRequestException在hadoop 2.4中使用纱线以群集模式运行Spark时出现纱线异常

将Apache spark 1.1.0与hadoop 2.4一起使用

另外，我的

群集位于CDH 5.1.3上

我试着用下面的命令启动
火花纱线

./spark-shell --master yarn 
./spark-shell --master yarn-client

我得到了以下例外：

14/10/15 21:33:32 INFO cluster.yanclientschedulerbackend:应用程序
来自ASM的报告：
appMasterRpcPort:0
应用开始时间：1413388999108
亚纳普州：运行

14/10/15 21:33:44错误群集。YanClientSchedulerBackend:纱线
应用程序已结束：失败

======节点管理器异常============================================

原因：
org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.warn.exceptions.InvalidResourceRequestException）：
无效的资源请求、请求的内存<0或请求的内存>
最大配置，请求内存=1408，最大内存=1024
org.apache.hadoop.warn.server.resourcemanager.SchedulerUtils.validateResourceRequest（SchedulerUtils.java:228）
在
org.apache.hadoop.warn.server.resourcemanager.RMServerUtils.validateResourceRequests（RMServerUtils.java:80）
在
org.apache.hadoop.warn.server.resourcemanager.ApplicationMasterService.allocate（ApplicationMasterService.java:444）
在
org.apache.hadoop.warn.api.impl.pb.service.ApplicationMasterProtocolPBServiceImpl.allocate（ApplicationMasterProtocolPBServiceImpl.java:60）
在
org.apache.hadoop.warn.proto.ApplicationMasterProtocol$ApplicationMasterProtocolService$2.callBlockingMethod（ApplicationMasterProtocol.java:99）
在
org.apache.hadoop.ipc.protobufrpceengine$Server$protobufrpinvoker.call（protobufrpceengine.java:585）
位于org.apache.hadoop.ipc.RPC$Server.call（RPC.java:1026）
org.apache.hadoop.ipc.Server$Handler$1.run（Server.java:1986）位于
org.apache.hadoop.ipc.Server$Handler$1.run（Server.java:1982）位于
java.security.AccessController.doPrivileged（本机方法）位于
javax.security.auth.Subject.doAs（Subject.java:396）位于
org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1554）
位于org.apache.hadoop.ipc.Server$Handler.run（Server.java:1980）

位于org.apache.hadoop.ipc.Client.call（Client.java:1410）
org.apache.hadoop.ipc.Client.call（Client.java:1363）位于
org.apache.hadoop.ipc.protobufrpceengine$Invoker.invoke（protobufrpceengine.java:206）
在$Proxy11处分配（未知源）
org.apache.hadoop.warn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocate（ApplicationMasterProtocolPBClientImpl.java:77）
... 20多

根据您的纱线配置，应用程序可以为容器请求的最大内存为1024MB。但是spark客户端正在请求一个1408MB的容器。更改spark的配置文件以请求更少的RAM或提高纱线中的最大内存。
是。这两个是要调整的配置：warn.scheduler.maximum-allocation-mb warn.nodemanager.resource.memory-mb