Amazon web services AWS-EMR：日志文件在哪里？

我正在使用EMR通过纱线运行spark作业。作业失败，但我无法找到EMR记录异常的位置，我可以在主节点屏幕输出上看到回溯，如下所示。应该有一个更详细的日志文件，显示异常的原因，但我找不到它在哪里。我看了看报纸hdfs://var/log/spark/app/application_xxx 没有显示任何错误。以下是我提交申请的方式：

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 2 --executor-memory 5g word2vec_app.py hdfs:///test/r8_no_sto.txt

以下是主节点上的屏幕输出：

Exception in thread "main" org.apache.spark.SparkException: Application application_1488419676573_0005 finished with failed status
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1167)
    at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1213)
    at org.apache.spark.deploy.yarn.Client.main(Client.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

---

您的s3中将有一个文件夹。在配置EMR时，我认为我们可以选择设置log dir。路径为s3://aws日志-[ACCOUNT\u NUMBER]-[AVAILABILITY\u ZONE]/elasticma‌​preduce/

节点的stdout/stderr可以在每个节点的/mnt/var/log/hadoop-warn/containers/application中找到

您的s3中将有一个文件夹。在配置EMR时，我认为我们可以选择设置log dir。默认情况下，它存储在s3中。路径是s3://aws logs-[ACCOUNT\u NUMBER]-[AVAILABILITY\u ZONE]/elasticmapreduce/I没有选中将其保存在s3上的选项。它仍然会记录在hdfs或节点上吗？@Manish Verma bro您知道如何将自定义日志存储到s3 bucket我可以检查s3 bucket的系统日志，但我有一个应用程序日志文件，其中包含与代码相关的日志，而我在s3 bucket上找不到这些日志。如果您有任何与此相关的答案，请ping我…thnx in进展