Hadoop java.io.IOException:不是有效的BCF文件

当我运行“纱线日志-应用程序ID应用程序_14380928000_6932”时，出现以下异常：

Exception in thread "main" java.io.IOException: Not a valid BCFile.
    at org.apache.hadoop.io.file.tfile.BCFile$Magic.readAndVerify(BCFile.java:927)
    at org.apache.hadoop.io.file.tfile.BCFile$Reader.<init>(BCFile.java:628)
    at org.apache.hadoop.io.file.tfile.TFile$Reader.<init>(TFile.java:804)
    at org.apache.hadoop.yarn.logaggregation.AggregatedLogFormat$LogReader.<init>(AggregatedLogFormat.java:358)
    at org.apache.hadoop.yarn.logaggregation.LogCLIHelpers.dumpAllContainersLogs(LogCLIHelpers.java:122)
    at org.apache.hadoop.yarn.client.cli.LogsCLI.run(LogsCLI.java:137)
    at org.apache.hadoop.yarn.client.cli.LogsCLI.main(LogsCLI.java:199)

线程“main”java.io.IOException中的异常：不是有效的BCF文件。 位于org.apache.hadoop.io.file.tfile.BCFile$Magic.readAndVerify（BCFile.java:927） 位于org.apache.hadoop.io.file.tfile.BCFile$Reader。（BCFile.java:628） 位于org.apache.hadoop.io.file.tfile.tfile$Reader.（tfile.java:804） 位于org.apache.hadoop.warn.logaggregation.AggregatedLogFormat$LogReader。（AggregatedLogFormat.java:358） 位于org.apache.hadoop.warn.logaggregation.LogCLIHelpers.dumpAllContainersLogs（LogCLIHelpers.java:122） 位于org.apache.hadoop.warn.client.cli.LogsCLI.run（LogsCLI.java:137） 位于org.apache.hadoop.warn.client.cli.LogsCLI.main（LogsCLI.java:199）

---

有人能提供一些帮助吗？

如果我在结束作业后试图直接读取日志，就会出现此错误。我会说，在顶部给它一分钟，然后再尝试读取日志。

在HDP环境中，如果有人在使用某些TFile读取器手动解析容器日志时遇到此错误，此答案可能会有所帮助

在HDP中，

warn.log aggregation.file formats

的默认值是

IndexedFormat，TFile

因此，它将仅在

/app logs//logs ifile

删除

warn.log aggregation.file formats

属性的IndexedFile值。仅给出

t文件

格式。

---

日志将以

/app logs//logs

的形式聚合。您的日志似乎没有以BCFile（块压缩文件）格式存储。因此出现了错误。您的Thread site.xml中属性“Thread.nodemanager.log aggregation.compression type”的值是多少？谢谢@ManjunathBallur，我使用了默认值“none”，更改此值是否解决了您的问题？默认值是TFile我特别提到，默认值仅在HDP群集上。我知道，在normal-site.xml中，默认值仅为TFile。我在Virtualbox中创建了一个新的hdp沙盒，进行了一次交叉验证。warn.log-aggregation.file-formats的默认值仅为“IndexedFormat，TFile”。