Java 使用sed/awk/which从*nix上的日志获取异常

我想从tomcat创建的日志文件中获取异常。
是的，我做了一些研究，但因为我没有任何sed或awk方面的经验-根据我的需要调整我的发现有点困难。
下面显示了一个要处理的示例文件：

    at org.springframework.scheduling.quartz.QuartzJobBean.execute(QuartzJobBean.java:86)
Caused by: org.apache.cxf.transport.http.HTTPException: HTTP response '503: Service Temporarily Unavailable' when communicating with http://66.66.66.66:1234/aaa/bbb/ccc
    at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.handleResponseInternal(HTTPConduit.java:1546)
    at org.apache.cxf.interceptor.MessageSenderInterceptor$MessageSenderEndingInterceptor.handleMessage(MessageSenderInterceptor.java:62)
    ... 39 more
2014-10-24 11:40:01,558 ERROR [aaa.bbb.ccc.ddd.SomeClass] - some exception on parsing '2007/11/45' bla bla
javax.xml.ws.WebServiceException: Could not send Message.
    at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:145)
    at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
Caused by: org.apache.cxf.transport.http.HTTPException: HTTP response '503: Service Temporarily Unavailable' when communicating with http://66.66.66.66:1234/aaa/bbb/ccc
    at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.handleResponseInternal(HTTPConduit.java:1546)
    at org.apache.cxf.frontend.ClientProxy.invokeSync(ClientProxy.java:88)
    at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:134)
    ... 32 more
2014-10-24 11:40:01,561 ERROR [aaa.bbb.ccc.ddd] - some error with id = 1214
java.lang.NullPointerException
    at sun.reflect.GeneratedMethodAccessor181.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
2014-10-24 11:44:48,253 INFO [org.springframework.orm.hibernate3.annotation.AnnotationSessionFactoryBean] - Closing Hibernate SessionFactory
2014-10-24 11:44:48,253 INFO [org.hibernate.impl.SessionFactoryImpl] - closing
2014-10-24 11:44:48 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
2014-10-24 11:44:50 org.apache.coyote.http11.Http11Protocol destroy
INFO: Stopping Coyote HTTP/1.1 on http-8096

正如我们所看到的，有：2个完全异常（我们想要），1个部分异常（我们不想要）。为了简化这个例子，我删除了一些重要的东西，比如log4j:ERRORs，这是我们不想要的。

到目前为止，我试过：
AWK（这是我和AWK在一起的第一天，请不要笑：D）。这很直接。
它在每行的开头找到“/t”（制表符）+at+”（空白）。如果它前面的两行与给定的条件（异常和日期）匹配，它也会打印它们。它工作得很好，但它也会打印部分异常，这是我们不希望看到的

BEGIN {
    preprevious = "";
    previous = "";
}
/^\tat / {
    if( previous != "" ) {
        if(preprevious ~ /20[0-9][0-9]-[0-9][0-9]-[0-9][0-9]/){
            print preprevious;
            preprevious = "";
        }
        if(previous ~ /.*Exception/) {
            print previous;
            previous = "";
        }
    }
    print;
    next;
}
 { preprevious = previous;
    previous = $0; }

我是这样运行的：

awk -f awkScript testFileExceptions.txt

        at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:134)
        ... 32 more
2014-10-24 11:40:01,561 INFO [aaa.bbb.ccc.ddd] - AAAAAAAAAAAAAAAAAAAAAAAA
2014-10-24 11:40:01,561 ERROR [aaa.bbb.ccc.ddd] - some error with id = 1214
java.lang.NullPointerException
        at sun.reflect.GeneratedMethodAccessor181.invoke(Unknown Source)

在bash脚本中使用SED（我更喜欢这样）

它匹配到目前为止的“+ERROR+”（ERROR两侧都有空格，因此log4j:ERROR将不匹配）。它有点有效…
缺点：
1） 如果在异常之间有一些额外的行，它将起作用-如下所示：

awk -f awkScript testFileExceptions.txt

        at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:134)
        ... 32 more
2014-10-24 11:40:01,561 INFO [aaa.bbb.ccc.ddd] - AAAAAAAAAAAAAAAAAAAAAAAA
2014-10-24 11:40:01,561 ERROR [aaa.bbb.ccc.ddd] - some error with id = 1214
java.lang.NullPointerException
        at sun.reflect.GeneratedMethodAccessor181.invoke(Unknown Source)

如果没有-则第二个异常将不会显示
2） 它还将打印出最后匹配的行（与日期匹配的行）

总之，我想要的结果是：

2014-10-24 11:40:01,558 ERROR [aaa.bbb.ccc.ddd.SomeClass] - some exception on parsing '2007/11/45' bla bla javax.xml.ws.WebServiceException: Could not send Message.
        at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:145)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525) 
Caused by: org.apache.cxf.transport.http.HTTPException: HTTP response '503: Service Temporarily Unavailable' when communicating with http://66.66.66.66:1234/aaa/bbb/ccc
        at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.handleResponseInternal(HTTPConduit.java:1546)
        at org.apache.cxf.frontend.ClientProxy.invokeSync(ClientProxy.java:88)
        at org.apache.cxf.jaxws.JaxWsClientProxy.invoke(JaxWsClientProxy.java:134)
        ... 32 more

2014-10-24 11:40:01,561 ERROR [aaa.bbb.ccc.ddd] - some error with id = 1214 java.lang.NullPointerException
        at sun.reflect.GeneratedMethodAccessor181.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)

我还想将不同的异常保存到不同的文件中（比如ExceptionOutputnn.txt，例如exceptionOutput001.txt），但我稍后会解决这个问题，在我解决了如何对XMLs执行此操作之后，应该不会那么难P

嗯。。就这样。我希望有人能帮我：）
干杯

---

编辑：请注意，异常可能以“…NN more”和简单的“\tat org.*”结尾。

仍然不确定您到底想要什么
这应该适用于您想要的输出

 awk '/^[0-9]+/{x=0}/ERROR/{x=1}x' file

输出 编辑：为您的原始文件

 awk 'a=/^[0-9]+/{x=0}a&&/ERROR/{x=1}x' file

或

---

对于将来阅读此文章的任何人，下面是使用Jidders解决方案并将输出保存到文件的脚本（1文件perexception）

---

干杯

一个善意的请求：如果你们不能帮助我，请投票支持这个问题，这样也许其他人会看到。请减少示例输入和输出。完成。它足够短还是应该更短？是的，我会在几分钟后看一看，非常感谢：）我仍然需要弄清楚它为什么有效，但它有效；]您能帮我理解一下吗？
/^[0-9]/&&x=/ERROR/
似乎与以数字（日期）或包含错误开头的行相匹配。酷。但是这个“x”在那里做什么？为什么我们使用“| | x |”awk在匹配行之后打印所有行？@WrRaThY你有编程经验吗？如果你不知道，就很难解释它是如何工作的。是的，我知道：）我只是不知道AWK是如何工作的（例如，我认为我需要调用“print”来打印一行。看起来我不需要…）如果参数后没有动作块，例如

x'而不是
x{command}'，那么它默认为print
x
设置为
/ERROR/
的值，如果找到该值，则其计算结果为
1
<代码>/ERROR/
只有在发现
/^[0-9]/
时才进行评估，因为它在
&&
处短路（如果没有）。
 awk '(/^[0-9]/&&x=/ERROR/)||x' file

#!/bin/sh
if [ "$#" -eq  "2" ]
    then
        rm output/errorOutputFile* 2>/dev/null
        tail -n $2 $1 | awk '(/^[0-9]/&&x=/ERROR/)||x' | awk '/^[0-9]/{g++} { print $0 > "errorOutputFile"g".txt"}' 
    else
        echo "usage: scriptName filePath amountOfLastLinesInFile"
fi