错误“；启动MRAppMaster”；在emr上运行hadoop作业

当我试图在emr集群上运行hadoop作业时，我得到了下面提到的错误，它说由于“AM容器”而无法启动，并且在查看容器日志时，我可以看到它在启动“MRAppMaster”时失败。在本地开发人员桌面上，我能够成功运行该作业

我在web上搜索并找到了this（），它说这个问题可能是因为hadoop“hadoop.so”有多个版本。根据stack over flow中提到的建议，可以获取“java.library.path”和我的结果： ：/usr/lib/hadoop lzo/lib/native:/usr/lib/hadoop/lib/native 路径：/usr/lib/hadoop lzo/lib/native，不包含任何hadoop.so文件。 路径：/usr/lib/hadoop/lib/native，确实包含hadoop.so和hadoop.so.1.0

我尝试从后者中删除一个并运行我的作业，但它仍然失败，并出现相同的错误

错误消息：

我的emr工作日志：

2015-11-26 11:18:17074 INFO org.apache.hadoop.mapreduce.Job（main）：由于以下原因，Job Job_1448532525181_0004因状态失败而失败：应用程序_1448532525181_0004因appattempt的AM容器而失败2次_1448532525181_0004_000002因exitCode退出：1 诊断：容器启动异常。 集装箱id:Container_1448532525181_0004XXX001XXX 退出代码：1

Stack trace: ExitCodeException exitCode=1: 
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

容器以非零退出代码1退出 尝试失败。应用程序失败。 2015-11-26 11:18:17095 INFO org.apache.hadoop.mapreduce.Job（主）：计数器：0

容器日志：

2015-11-26 10:11:40,020 INFO [main] com.amazonaws.latency: ClientExecuteTime=[44.047], 2015-11-26 10:11:40,021 FATAL [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster java.lang.NoSuchMethodError: com.amazonaws.AmazonWebServiceRequest.getDelegationToken()Ljava/lang/String;
at com.amazonaws.handlers.internal.S3SecurityTokenRequestHandler.beforeRequest(S3SecurityTokenRequestHandler.java:33)
at com.amazonaws.handlers.RequestHandler2Adaptor.beforeRequest(RequestHandler2Adaptor.java:37)
at com.amazonaws.http.AmazonHttpClient.requestHandler2s(AmazonHttpClient.java:434)
at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:292)
at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:3595)
at com.amazonaws.services.s3.AmazonS3Client.headBucket(AmazonS3Client.java:1041)
at com.amazonaws.services.s3.AmazonS3Client.doesBucketExist(AmazonS3Client.java:1013)
at com.amazon.ws.emr.hadoop.fs.s3n.Jets3tNativeFileSystemStore.ensureBucketExists(Jets3tNativeFileSystemStore.java:105)
at com.amazon.ws.emr.hadoop.fs.s3n.Jets3tNativeFileSystemStore.initialize(Jets3tNativeFileSystemStore.java:86)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy27.initialize(Unknown Source)
at com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:466)
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:116)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2644)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:90)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2678)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:374)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.<init>(FileOutputCommitter.java:91)
at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.<init>(FileOutputCommitter.java:74)
at org.apache.hadoop.mapreduce.lib.output.DirectFileOutputCommitter.<init>(DirectFileOutputCommitter.java:31)
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.getOutputCommitter(FileOutputFormat.java:310)
at org.apache.hadoop.mapreduce.lib.output.FilterOutputFormat.getOutputCommitter(FilterOutputFormat.java:67)
at org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat.getOutputCommitter(LazyOutputFormat.java:92)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call(MRAppMaster.java:471)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call(MRAppMaster.java:453)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.callWithJobClassLoader(MRAppMaster.java:1542)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.createOutputCommitter(MRAppMaster.java:453)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit(MRAppMaster.java:371)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$4.run(MRAppMaster.java:1500)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1497)
at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1430) 2015-11-26 10:11:40,026 INFO [main] org.apache.hadoop.util.ExitUtil: Exiting with status 1

2015-11-26 10:11:40020 INFO[main]com.amazonaws.latency:ClientExecuteTime=[44.047]，2015-11-26 10:11:40021 FATAL[main]org.apache.hadoop.mapreduce.v2.app.MRAppMaster:MRAppMaster java.lang.NoSuchMethodError:com.amazonaws.amazonwebservicequest.getDelegationToken（）Ljava/lang/String；
位于com.amazonaws.handlers.internal.S3SecurityTokenRequestHandler.beforeRequest（S3SecurityTokenRequestHandler.java:33）
在com.amazonaws.handlers.RequestHandler2Adaptor.beforeRequest（RequestHandler2Adaptor.java:37）上
在com.amazonaws.http.AmazonHttpClient.requestHandler2s（AmazonHttpClient.java:434）
在com.amazonaws.http.AmazonHttpClient.execute上（AmazonHttpClient.java:292）
位于com.amazonaws.services.s3.AmazonS3Client.invoke（AmazonS3Client.java:3595）
位于com.amazonaws.services.s3.AmazonS3Client.headBucket（AmazonS3Client.java:1041）
位于com.amazonaws.services.s3.AmazonS3Client.doesBucketExist（AmazonS3Client.java:1013）
在com.amazon.ws.emr.hadoop.fs.s3n.Jets3tNativeFileSystemStore.ensurebackexists（Jets3tNativeFileSystemStore.java:105）
位于com.amazon.ws.emr.hadoop.fs.s3n.Jets3tNativeFileSystemStore.initialize（Jets3tNativeFileSystemStore.java:86）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:497）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod（RetryInvocationHandler.java:187）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invoke（RetryInvocationHandler.java:102）
位于com.sun.proxy.$Proxy27.initialize（未知源）
位于com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize（S3NativeFileSystem.java:466）
位于com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize（EmrFileSystem.java:116）
位于org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2644）
位于org.apache.hadoop.fs.FileSystem.access$200（FileSystem.java:90）
位于org.apache.hadoop.fs.FileSystem$Cache.getInternal（FileSystem.java:2678）
位于org.apache.hadoop.fs.FileSystem$Cache.get（FileSystem.java:2660）
位于org.apache.hadoop.fs.FileSystem.get（FileSystem.java:374）
位于org.apache.hadoop.fs.Path.getFileSystem（Path.java:296）
位于org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.（FileOutputCommitter.java:91）
位于org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.（FileOutputCommitter.java:74）
位于org.apache.hadoop.mapreduce.lib.output.DirectFileOutputCommitter。（DirectFileOutputCommitter.java:31）
位于org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.getOutputCommitter（FileOutputFormat.java:310）
位于org.apache.hadoop.mapreduce.lib.output.FilterOutputFormat.getOutputCommitter（FilterOutputFormat.java:67）
位于org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat.getOutputCommitter（LazyOutputFormat.java:92）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call（MRAppMaster.java:471）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster$1.call（MRAppMaster.java:453）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster.callWithJobClassLoader（MRAppMaster.java:1542）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster.createOutputCommitter（MRAppMaster.java:453）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceInit（MRAppMaster.java:371）
位于org.apache.hadoop.service.AbstractService.init（AbstractService.java:163）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster$4.run（MRAppMaster.java:1500）
位于java.security.AccessController.doPrivileged（本机方法）
位于javax.security.auth.Subject.doAs（Subject.java:422）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1628）
位于org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster（MRAppMaster.java:1497）
在org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main（MRAppMaster.java:1430）2015-11-26 10:11:40026 INFO[main]org.apache.hadoop.util.ExitUtil:以状态1退出

在这方面的任何帮助都会有很大的帮助，如果您需要我这边的更多信息，请告诉我

谢谢，

---

Anusha.K

这看起来像是库/依赖项冲突。请确保您根据与群集上相同的AWS SDK构建jar。这看起来像是库/依赖项冲突。请确保您根据与群集上相同的AWS SDK构建jar。