elasticsearch Logstash-如何在字段内动态创建校验和

我让filebeat将文件发送到Logstash。 我在仓库里有一些过滤器。看起来是这样的：

filter {
 if [message] =~ /user/{
  mutate {
        gsub => ["message", "user \[(.*?)] was", "user [] was"]              
      }
  }
}

它基本上删除了用户数据，因为我不希望它们出现在日志中。因此，它执行以下操作：

使用者[myemail@email.com]--->user[]

我需要在解析后的用户中使用SHA1或类似的校验和，如下所示：

filter {
 if [message] =~ /user/{
  mutate {
        gsub => ["message", "user \[(.*?)] was", "user [] was"]              
      }
  }
}

使用者[myemail@email.com]--->user[checksumisher]

详细错误在这里

[2017-04-26T13:13:53,153][ERROR][logstash.pipeline        ] A plugin had an unrecoverable error. Will restart this plugin.
  Plugin: <LogStash::Inputs::Beats port=>5043, codec=><LogStash::Codecs::JSON id=>"json_bf758128-700d-4332-a0c0-c958a6c9dc09", enable_metric=>true, charset=>"UTF-8">, id=>"8d67450b6c5fcad922dd223d89206b7b8d5c884d-1", enable_metric=>true, host=>"0.0.0.0", ssl=>false, ssl_verify_mode=>"none", include_codec_tag=>true, ssl_handshake_timeout=>10000, congestion_threshold=>5, target_field_for_codec=>"message", tls_min_version=>1, tls_max_version=>1.2, cipher_suites=>["TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384", "TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384", "TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256", "TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256", "TLS_ECDHE_ECDSA_WITH_AES_256_CBC_SHA384", "TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA384", "TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256"], client_inactivity_timeout=>60>
  Error: event executor terminated
  Exception: Java::JavaUtilConcurrent::RejectedExecutionException
  Stack: io.netty.util.concurrent.SingleThreadEventExecutor.reject(io/netty/util/concurrent/SingleThreadEventExecutor.java:840)
io.netty.util.concurrent.SingleThreadEventExecutor.offerTask(io/netty/util/concurrent/SingleThreadEventExecutor.java:342)
io.netty.util.concurrent.SingleThreadEventExecutor.addTask(io/netty/util/concurrent/SingleThreadEventExecutor.java:335)
io.netty.util.concurrent.SingleThreadEventExecutor.execute(io/netty/util/concurrent/SingleThreadEventExecutor.java:765)
io.netty.channel.AbstractChannel$AbstractUnsafe.register(io/netty/channel/AbstractChannel.java:475)
io.netty.channel.SingleThreadEventLoop.register(io/netty/channel/SingleThreadEventLoop.java:80)
io.netty.channel.SingleThreadEventLoop.register(io/netty/channel/SingleThreadEventLoop.java:74)
io.netty.channel.MultithreadEventLoopGroup.register(io/netty/channel/MultithreadEventLoopGroup.java:85)
io.netty.bootstrap.AbstractBootstrap.initAndRegister(io/netty/bootstrap/AbstractBootstrap.java:330)
io.netty.bootstrap.AbstractBootstrap.doBind(io/netty/bootstrap/AbstractBootstrap.java:281)
io.netty.bootstrap.AbstractBootstrap.bind(io/netty/bootstrap/AbstractBootstrap.java:277)
io.netty.bootstrap.AbstractBootstrap.bind(io/netty/bootstrap/AbstractBootstrap.java:259)
org.logstash.beats.Server.listen(org/logstash/beats/Server.java:68)
java.lang.reflect.Method.invoke(java/lang/reflect/Method.java:498)
RUBY.run(/Users/xxx/Downloads/elk/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-beats-3.1.12-java/lib/logstash/inputs/beats.rb:213)
RUBY.inputworker(/Users/xxx/Downloads/elk/logstash/logstash-core/lib/logstash/pipeline.rb:425)
RUBY.start_input(/Users/xxx/Downloads/elk/logstash/logstash-core/lib/logstash/pipeline.rb:419)
java.lang.Thread.run(java/lang/Thread.java:745)
[2017-04-26T13:13:54,979][DEBUG][logstash.agent           ] Reading config file {:config_file=>"/Users/xxx/Downloads/elk/logstash/config/first-pipeline.conf"}
[2017-04-26T13:13:54,980][DEBUG][logstash.agent           ] no configuration change for pipeline {:pipeline=>"main"}

[2017-04-26T13:13:53153][ERROR][logstash.pipeline]插件出现无法恢复的错误。将重新启动此插件。
插件：5043，编解码器=>“json_bf758128-700d-4332-a0c0-c958a6c9dc09”，启用度量=>真，字符集=>“UTF-8”>，id=>“8d67450b6c5fcad922dd223d89206b7b8d5c884d-1”，启用度量=>真，主机=>“0.0.0.0”，ssl=>假，ssl验证模式=>无，包括编解码器标签=>真，ssl握手超时=>10000，拥塞阈值，编解码器目标字段=>，1.1.1.1.1.1.1.1.1.1.1.2，密码套件=>[“1.2.1.2，密码和密码套件=>[“10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.有人用用用256.256.256.256.GCM和256.GCM M和8.GCM和388.GCM M M.GGGGGcu384和384.8 8 8 8.U U U U U U U U U_与_AES_256_CBC_SHA384”，“TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256”]，客户端不活动\u超时=>60>
错误：事件执行器已终止
异常：Java:：JavaUtilConcurrent:：RejectedExecutionException
堆栈：io.netty.util.concurrent.SingleThreadEventExecutor.reject（io/netty/util/concurrent/SingleThreadEventExecutor.java:840）
io.netty.util.concurrent.SingleThreadEventExecutor.offerTask（io/netty/util/concurrent/SingleThreadEventExecutor.java:342）
io.netty.util.concurrent.SingleThreadEventExecutor.addTask（io/netty/util/concurrent/SingleThreadEventExecutor.java:335）
io.netty.util.concurrent.SingleThreadEventExecutor.execute（io/netty/util/concurrent/SingleThreadEventExecutor.java:765）
io.netty.channel.AbstractChannel$AbstractSafe.register（io/netty/channel/AbstractChannel.java:475）
io.netty.channel.SingleThreadEventLoop.register（io/netty/channel/SingleThreadEventLoop.java:80）
io.netty.channel.SingleThreadEventLoop.register（io/netty/channel/SingleThreadEventLoop.java:74）
io.netty.channel.MultithreadEventLoopGroup.register（io/netty/channel/MultithreadEventLoopGroup.java:85）
io.netty.bootstrap.AbstractBootstrap.initAndRegister（io/netty/bootstrap/AbstractBootstrap.java:330）
io.netty.bootstrap.AbstractBootstrap.doBind（io/netty/bootstrap/AbstractBootstrap.java:281）
io.netty.bootstrap.AbstractBootstrap.bind（io/netty/bootstrap/AbstractBootstrap.java:277）
io.netty.bootstrap.AbstractBootstrap.bind（io/netty/bootstrap/AbstractBootstrap.java:259）
listen（org/logstash/beats/Server.java:68）
invoke（java/lang/reflect/Method.java:498）
RUBY.run（/Users/xxx/Downloads/elk/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-beats-3.1.12-java/lib/logstash/inputs/beats.rb:213）
inputworker（/Users/xxx/Downloads/elk/logstash/logstash-core/lib/logstash/pipeline.rb:425）
RUBY.start_输入（/Users/xxx/Downloads/elk/logstash/logstash core/lib/logstash/pipeline.rb:419）
run（java/lang/Thread.java:745）
[2017-04-26T13:13:54979][DEBUG][logstash.agent]正在读取配置文件{:config_file=>“/Users/xxx/Downloads/elk/logstash/config/first pipeline.conf”}
[2017-04-26T13:13:54980][DEBUG][logstash.agent]管道{:pipeline=>“main”}没有配置更改

您可以使用来执行该转换

filter {
  if [message] =~ /user/{
    ruby {
      init => "require 'digest'"
      code => "
        message = event.get('message')
        email = message.match(/user \[(.*?)\] was/)
        if email.present?
          sha = Digest::SHA256.hexdigest email[0].captures
          event.set('message', message.gsub(email[0].captures, sha))
        end
      "
    }
  }
}

如果

消息

看起来像

用户[john@doe.com]如果是空闲的

，则将转换为：

 user [d709f370e52b57b4eb75f04e2b3422c4d41a05148cad8f81776d94a048fb70af] was idle

您可以使用来执行该转换

filter {
  if [message] =~ /user/{
    ruby {
      init => "require 'digest'"
      code => "
        message = event.get('message')
        email = message.match(/user \[(.*?)\] was/)
        if email.present?
          sha = Digest::SHA256.hexdigest email[0].captures
          event.set('message', message.gsub(email[0].captures, sha))
        end
      "
    }
  }
}

如果

消息

看起来像

用户[john@doe.com]如果是空闲的

，则将转换为：

 user [d709f370e52b57b4eb75f04e2b3422c4d41a05148cad8f81776d94a048fb70af] was idle

---

您可以使用

ruby

过滤器来执行该转换。您可以提供一个示例或为我指明方向吗？您可以使用

ruby

过滤器来执行该转换。您可以提供一个示例或为我指明方向吗？看起来此代码没有进行任何转换。用户在某些情况下没有更改伊森。我已经修复了它，请重新尝试。谢谢：）太棒了，很高兴它有帮助！这里有一个相关问题：似乎此代码没有进行任何转换。用户没有因为某种原因而更改。我已经修复了它，请重新尝试。谢谢：）太棒了，很高兴它有帮助！这里有一个相关问题：