Fatal编程技术网

Logstash如何安装

我想安装并开始使用logstash进行交互。以前有人用过这个吗？我怎样才能使我的计算机，这需要一种编程语言的具体知识？有视频教程的傻瓜教程吗？首先，您的计算机必须有JAVA运行时。Logstash是一个jar可执行文件。你不需要安装它。您可以从下载，然后执行它 这本书有很多教程。你可以去看看。这很容易学。您不需要知道任何特定的编程语言。（如果你想写你自己的插件，你必须知道ruby）。Logstash提供了大量API来执行输入、过滤和输出日志 你也可以看看如何写作 享受吧 你是说？你看了他们提供的

Logstash 多个Grok筛选器未存储第一个筛选器匹配记录

我正在使用Logstash解析后缀日志。我主要致力于从postfix日志中获取反弹的电子邮件日志，并将其存储在数据库中 为了获取日志，首先我需要找到由postfix生成的与我的邮件ID相对应的ID，并使用该ID，我需要找到电子邮件的状态。对于以下配置，我能够获取日志 grok { patterns_dir => "patterns" match => [ "message", "%{SYSLOGBASE} %{POSTFIXCLEA

Logstash-从没有conf文件的web界面输入

是logstash提供任何web界面而不是conf文件。我想在不使用conf文件的情况下运行日志存储。但是我想从UI/Web界面输入conf文件的输入。有可能吗？将您的conf文件提交到github或bitbucket中托管的git repo。将此repo签出到您的logstash安装conf.d目录，并对提交进行cron作业检查，并在提取新提交时提取更改/重新启动logstash。然后可以在github中编辑conf文件 不是非常优雅，但是一个可能的解决方案不可能开箱即用。用例是什么？我有一个

logstash：电子邮件附件中的文件位置应该是什么？

谁能解释一下java日志异常应该如何通过logstash中的电子邮件作为附件发送？附件中要给出的文件位置是什么？请查找配置文件，其中有用于获取异常的筛选器。 输入{ 文件{ 类型=>“系统日志” 路径=>“” add_field=>[“文件”，“a.log”] } } filter { if ("INFO" in [message]){ mutate { add_field =>

Logstash 如何匹配几种可能的日志事件格式？

我有来自一个日志源的事件，它可以有几种已知的格式。例如 10:45 Today is Monday 11:13 The weather is nice 12:00 The weather is cloudy 我可以通过 The weather is %{WORD:weather} Today is %{WORD:weekday} 我还不习惯logstash过滤器的格式。为了解释每一种可能性，我是否应该构建类似 if message =~ "The weather is" { grok

elasticsearch grok logstash2的帮助

我的日志看起来是这样的（IIS完整日志） 我对格式httpversion（看起来像HTTP/1.1）有问题。我不知道如何格式化它 通过使用grok patterns页面，我使用了以下格式 %{TIMESTAMP_ISO8601:timestamp} %{WORD:sitename} %{NOTSPACE:whost} %{IPORHOST:hostip} %{WORD:method} %{URIPATH:page} %{NOTSPACE:query} %{NUMBER:port} %{NOTSP

elasticsearch 无法在kibana的平铺地图中显示位置

我使用的是Elasticsearch-1.5.1、Kibana-4.0.2-linux-x86、Logstash-1.4.2。 我的日志存储配置是这样的 输入{ 雷迪斯{ 数据类型=>“列表” 键=>“速度” 密码=>'bhushan' 类型=>速度 } }滤器{ geoip{ source=>“mdc.ip” target=>“geoip” 数据库=>“/opt/logstash-1.4.2/vendor/geoip/GeoLiteCity.dat” add_field=>[“[geoip]

Logstash 配置日志存储转发器时观察到错误

尝试在中央服务器上配置logstash转发器时，在logstash.log中观察到以下错误： {:timestamp=>"2015-07-07T09:05:14.742000-0500", :message=>"Unknown setting 'timestamp' for date", :level=>:error} {:timestamp=>"2015-07-07T09:05:14.744000-0500", :message=>"Error: Someth

Logstash配置：如果["；列表项1"；]中的[field]，则列表不工作的条件

我正在使用Logstash处理一些流数据。现在我遇到了一个问题，当我使用条件标记标记数据时 如果我在logstash配置中写入以下内容 if [myfield] == "abc"{ mutate { add_tag => ["mytag"] } } else { mutate { add_tag => ["not_working"] } } 一切都很好，但现在我想用一个列表 if [myfield] is in ["abc"]{ mutate { add_tag => ["m

elasticsearch 汤姆猫日志

我想解析有soap/rest请求和响应的tomcat日志。有谁能给我举个好例子，我们可以解析这些日志，并将其保存在json格式的弹性搜索中 谢谢艾伦的回复。下面是我尝试使用Grok模式分析的示例。我是新来的，所以我想弄清楚这个方法是否正确 2015-09-28 10:50:30249{http-apr-8080-exec-4}INFO[org.apache.cxf.services.interfaceType]1.0.0-LOCAL-入站消息 身份证号码：1 地址: 编码：UTF-8 Http方

如何为logstash配置log4r

有人请给我看一个log4r配置的例子，用于将日志发送到logstash。我的rails应用程序位于远程服务器中 还包括用于接收log4r日志的logstash配置 提前谢谢我建议您使用。logstash创建者提供的工具，允许您使用logstash或elasticsearch将日志从一台服务器发送到另一台服务器。该应用程序非常轻量级，并且易于配置 下面是一个示例配置，它将/path/的内容发送到/your/logfile.log到日志存储服务器名称logstashserver： filebeat:

Logstash 如何从日志存储中删除陷阱事件？

我已经为我想要的snmp陷阱定义了很多yaml，并将这些yaml放在我的mib目录（SpecificMIB）中， 并在我的配置文件中定义了mib目录，如下所示， yamlmibdir=>“/opt/logstash/vendor/bundle/jruby/1.9/gems/snmp-1.2.0/data/ruby/snmp/specificmibs” 但是，当在yamlmibdir中找不到mib时，如何删除该事件 如何让logstash删除它？如果功能不完善，许多过滤器会向事件添加标记。看起来s

Logstash中的嵌套JSON解析

我将以下JSON作为日志存储管道的输入： { "action": "UPLOAD", "who": "123", "when": "2016 Jun 14 12:00:12", "data": { "doc_id": "2345", "doc_name": "xyz.pdf" }, "header": { "proj_id": "P123", "logtype": "userlogs" }, "comments": "Check c

elasticsearch 无法在elasticsearch中查看Apache日志

我已经在windows上安装了ELK stack，并将Logstash配置为读取Apache日志文件。我似乎看不到Elasticsearch的输出。我对麋鹿很陌生 环境设置 弹性搜索： 日志存储： 基巴纳： 以上所有3个应用程序都作为服务运行 我创建了一个名为“logstash.conf”的文件，用于读取“C:\Elk\logstash\conf\logstash.conf”中的apache日志，其中包含以下内容： input { file { path => "C:\Elk\apache

Logstash添加字段值

我有一个Logstash过滤器集，它根据与消息匹配的正则表达式将字段警报级别设置为整数 例如： if [message] =~ /(?i)foo/ {mutate {add_field => { "Alert_level" => "3" }}} if [message] =~ /(?i)bar/ {mutate {add_field => { "Alert_level" => "2" }}} 这些情况并不相互排斥，有时会导致在警报级别发生两个或两个以上值的事件： me

Logstash未使用filebeat运行

我正在按照数字海洋指南安装麋鹿堆栈。它正在运行，但现在我遇到了logstash的问题 当我运行调试时，我得到如下结果： tail -f /var/log/logstash/logstash.log {:timestamp=>"2017-02-10T10:38:05.169000-0500", :message=>"Error: Expected one of #, input, filter, output at line 1, column 1 (byte 1) after "

elasticsearch 如何更改新索引的默认index.codec？

如何将index.codec更改为“最佳压缩”？ 我想用这种压缩类型创建所有新索引 我在/etc/elasticsearch/elasticsearch.yml中添加了以下内容：“index.codec:best_compression” 但是没有效果。你能检查你的模板以确保没有在那个级别定义编码解码器吗？模板在哪里？curl-XGEThttp://localhost:9200/_template谢谢。我找到了。但我不知道如何更改模板。有关模板的信息可在网站上找到，请阅读。我测试并使用PUT o

elasticsearch 如何通过忽略Logstash中的任何特殊字符来匹配任何模式？

我正在为交换机日志编写一个grok模式。我不知道如何忽略日志中的“%”字符%DAEMON-3-SYSTEM\u MSG 完整日志是- Jul 16 21:06:50 %DAEMON-3-SYSTEM_MSG: Un-parsable frequency in /mnt/pss/ntp.drift 这可以使用普通的%字符来完成。一个效率不高的例子： %%{NOTSPACE:switch_source}: %{GREEDYDATA:switch_message} 这将设置： { "switc

elasticsearch 无法将Filebeat连接到logstash以使用ELK进行日志记录

嗨，我一直在使用弹性堆栈进行自动日志记录。我有一个filebeat，它从路径中读取日志，输出设置为通过端口5044的logstash。logstash配置有一个监听5044的输入和推送到localhost:9200的输出。问题是我不能让它工作，我不知道发生了什么。以下是文件： My filebeat.yml路径：etc/filebeat/filebeat.yml #=========================== Filebeat prospectors =================

elasticsearch 从日志文件中抽出时间

以下是原始日志： 2017-09-17 08:34:54 181409 10.110.82.122 200 TCP_TUNNELED 4440 1320 CONNECT TCP cdn.appdynamics.com 443/-ANILADE-10.100.134.6--“Mozilla/5.0（Windows NT 10.0；Win64；x64）AppleWebKit/537.36（KHTML，如Gecko）Chrome/60.0.3112.113 Safari/537.36”观察到的“技术/

Logstash:TZInfo:：解析JDBC列Logstash时出现歧义异常

使用Logstash JDBC输入插件获取数据时出现此异常： error: 26413962 Sequel::InvalidValue TZInfo::AmbiguousTime: 2017-11-05T01:30:00+00:00 is an ambiguous local time. 这可能是因为我已经在用以下参数转换JDBC插件中的时区： jdbc_default_timezone => "America/New_York" 因此，11月5日凌晨1:30发生了两

elasticsearch 一个elasticsearch/logstash实例，包含具有唯一索引的多个应用程序

我们使用swisscoms应用云，目前正在评估新的Elasticsearch服务。我们建立了它，包括logstash和kibana 现在，我们为每个应用程序添加了一个用户提供的服务，这些应用程序应该使用公共的elasticsearch/logstash/kibana实例。当我们第一次登录kibana时，我们看到有一个名为logstash-的索引，所有应用程序的所有日志都在该索引中 现在我们想要的是为写入elk实例的每个应用程序建立一个索引。假设我们有电子应用程序（app1、app2、app3）。

elasticsearch Filebeat多行过滤器不工作？

我试图从filebeat中读取文件，并将它们放入日志库。在推送它们之前，我尝试合并包含java堆栈跟踪的事件。我试过这个过滤器，但不起作用 filebeat.prospectors: - type: log paths: - /mnt/logs/myapp/*.log multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}' multiline.negate: true multiline.match: after 这是一个日志示例，我正试图将其推

elasticsearch Kibana url在web浏览器中不起作用，但在服务器中，Kibana状态正在运行

我是新来基巴纳的。我做了安装，它开始正常工作之前。 但现在我在访问时遇到了问题，这是因为在web浏览器中无法访问该网站。 我没有修改任何东西 但在服务器中，kibana的状态正常，如下所示 xxxx# service kibana status kibana is running 在服务器中，当我使用url进行curl检查时，发现了302 [root@elkapp ~]# curl -X GET 'http://10.xx.xx.xx:5601/' -v 请帮助我了解问题所在 提前谢谢

elasticsearch logstash-Jdbc输入插件不’；t使用准备好的报表和大数据

我的任务是将数据从Oracle数据库导入Elasticsearch。 当然，我使用的是JDBC输入插件 由于性能原因，我需要为插件启用准备好的语句。 （它将减少对数据库的读取操作，并将正确使用索引） 我的配置如下所示： input { jdbc { jdbc_fetch_size => 999 schedule => "* * * * *" use_prepared_statements => true prepared_

elasticsearch 弹性搜索和日志存储上增量索引名称上的唯一文档id

我用麋鹿做报告。Logstash JDBC插件，用于从Oracle查询提供弹性搜索。我的索引名以每日日期作为增量后缀。我使用文档ID作为DB的主键。但数据库中的同一条记录会随着时间的推移而发生变化。所以我在logstash输入和DB查询上有每小时的时间表，以获取在过去1小时内更新的记录。大多数记录都在一周内更新。由于这个原因，同一条记录反映在多个索引中。有没有办法使文档ID在所有索引中都是唯一的 日志存储配置 input{ jdbc{ jdbc_driver_library=&

LOGSTASH-过滤器JSON

我只需要在卡夫卡主题中保存ship节点的内容，不幸的是，我已经执行了几个测试，并且过滤器不工作 我的json与此类似 { "_index": "abd", "type" : "doc", "_source":{ "response_body": { "ship":[ { "type" :

logstash grok过滤器烦恼

2012年9月27日星期四15:30:27英国夏令时：-无效的令牌$\u POST[自定义]，表示金额、用户ID 这是我试图使用grok for logstash解析的一个日志文件 前几个字段是可以的，它似乎非常接近DATESTAMP_OTHER，但我认为英国夏令时的英国时区把它搞乱了 到目前为止，但不知道如何使它工作 %{DAY}%{MONTH}%{MONTHDAY}%{TIME}%（[PMCEB][SD]T）%{YEAR}%{greedyddata:message}以下是我解决问题的方法：

elasticsearch Kibana不显示来自ES+；伐木场

我已经设置了ES+LogStash+Kibana。 ES 1.1.1以默认配置作为服务运行 Logstash有一个简单的配置，如下所示： input { stdin { }} output{ elasticsearch_http { host => "localhost:9200"} } 我的目标是查看我输入到Kibana控制台的人员，该控制台配置为监听 在config.js中 当我用上面的配置文件运行logstash并输入一些单词时，我可以在网页上看到它们，但我的Kibana有

Logstash 有没有办法在conf文件中放置一个相对路径？

嗯，我遇到了以下问题。 我的工作区是这样的 bin conf example lib LICENSE locales patterns README.md spec vendor 在conf文件夹中，我得到了带有下一个输入的文件logstash apache.conf input { file { path => "./../example/logs/logprueba/*_log" start_position => beginning

elasticsearch Logstash无法识别日志时间

我是麋鹿堆栈的新手，但是在阅读了文档之后，我仍然无法让logstash识别麋鹿的自定义时间 日志看起来像这样 2014-11-30 03:30:01.000118,122.99.34.242,123.56.212.1,44,u,q,NA,0 ? a.root-servers.net A 我的logstash过滤器是这个 filter { date { #2014-11-30 03:30:01.000118,122.99.34.242,123.56.2

elasticsearch 如何知道日志库的推荐版本

当我学习的时候，我是个新手 . 我注意到它说 Logstash的每个版本都有一个推荐的Elasticsearch版本 应该使用 但是我没有找到它。我没有看到logstash的发行说明。例如，我使用的logstash是1.5.0，如何知道我应该使用哪个版本的elastic search。在上面的示例中，它说我可以使用1.5.1版本 所有Logstash版本（包括1.4.2及之后的版本）都可以使用1.x以上的ElasticSearch版本 建议使用1.1.1以上的ElasticSearch，因为存在

需要帮助在logstash 1.5.4中配置电子邮件警报吗

我使用的是Logstash1.4.2，这个电子邮件警报在当时运行良好。现在，我的系统升级到logstash 1.5.4，logstash因以下旧设置而失败： email { from => "{{Mailfrom}}" match => [ "ERROR ALERT", "LOGLEVEL,ERROR" ] subject => "%{matchName}" to => "{{Rcptto}}"

elasticsearch 麋鹿开关场未分析

我在Logstash中生成如下类似的哈希字段： {组件：[“foo”，“bar”，“foo-bar”]} 我将其传递给Elasticsearch，当我想要获得每个字符串的出现次数时，我在Kibana中只有foo和bar，因为它们foo bar被拆分 如何禁用此拆分以便获取实际值？目前，我使用gsub将所有空格改为下划线，但这不是目标。Logstash默认情况下会在索引字段中添加.raw子字段。这个.raw子字段是未分析的。在您的情况下，您可以搜索组件.raw@andrestefan我没有任何

elasticsearch Mesos日志输出不'；我没有年头了

使用glog的Mesos slave日志文件中没有年份。看起来是这样的： W0225 15:24:41.816625 7651从。cpp:2024]。。。。。。 我正在使用filebeat将日志转发到logstash。mesos有没有办法强迫它把年份记录在日志文件中？当logstash得到当前年份时，只需添加当前年份，就存在这样的风险，即当年份发生变化时，它可能会将错误的年份放在那里 我想我可能有一些逻辑，可以检查当前月份是否为01，传入日志中的月份是否为12，使用去年而不是今年 有人为这种

配置AIX Syslog以将应用程序日志发送到远程服务器上的Logstash

我正在尝试将应用程序日志文件发送到logstash。它在AIX上运行，所以我不能使用filebeat。以前有人配置过syslog发送到logstash吗 我有一个将文件写入/var/mqsi/log/application.log 我想拿起那个日志并转发到远程服务器 syslog.conf mqsi.debug /var/mqsi/log/application.log mqsi.debug @10.123.445.217 非常感谢您的帮助。您需要切换到rsyslog。 安装

在logstash grok模式中未分析下划线字符？

我使用grok模式来匹配这一行的“java_1204569_priority2”。我想获取数字作为作业id。但在分析下划线字符时，会导致问题。有人能帮忙吗。为什么这么难： java_%{INT:jobid}_priority2 你是如何解析它的？请把你当前的解决方案放在问题中。

Logstash 无法读取卡夫卡-Avro架构消息

这个问题有什么解决办法吗？？？我无法读取KAFKA-AVRO架构消息。我正在尝试从logstash向KAFKA向HDFS发送消息 以下是技术堆栈： Logstash 2.3-当前生产版本 汇合3.0 插件： A.LogstashKafka输出插件 BLogstash编解码器avro 动物园管理员：3.4.6 卡夫卡：0.10.0.0 日志存储配置文件如下所示： input { stdin{} } filter { mutate { remove_field => ["@timestamp

elasticsearch 将值转换为Json后添加_字段logstash

我有这个表格中包含日志的日志文件 "{\"user_id\":\"79\",\"timestamp\":\"2016-12-28T11:10:26Z\"‌​,\"operation\":\"ver‌​3 - Requested for recommended,verified handle information\",\"data\":\"\",\"content_id\":\"\",\"channel_id‌​\":\"\"}" 我已经为其编写了日志存储配置 input { beats {

Logstash 如何从日志解析json

我是Logstash/Kibana（ELK stack）的新手，我不知道如何从我的日志中解析给定的json，并在Kibana中添加“message”和“application”属性作为字段 <30>Jan 30 17:52:43 bts/cit-bts-pms-middleware-dev:sprint-01/cit-bts-pms-middleware-dev[862]: {"timestamp":"2017-01-30T17:52:43.713+00:00","message":

elasticsearch 使用麋鹿堆栈绘制平铺贴图

我正在尝试用Kibana创建一个平铺贴图。我的conf文件logstash工作正常，并生成Kibana绘制平铺图所需的所有内容。这是我的档案： input { file { path => "/home/ec2-user/part.csv" start_position => "beginning" sincedb_path => "/dev/null" } } filter {

elasticsearch 日志存储日期格式grok模式

我有一个日志文件，其日期时间为'yyyyMMdd\u HHmmss\u SSS'格式。我成功地用u作为分隔符解析了它，并在ES中获得了3个不同的文本字段。但我需要将其转换为ISO_8601，以便可以按日期、小时或分钟查询和可视化数据 如果您不特别需要ISO-8601，但更关心事件获取可查询的时间戳，听起来更适合您 filter { date { match => [ "logdate", "yyyyMMdd_HHmmss_SSS" ] } } 这将@timestamp字段

elasticsearch 如何将1/10的日志保存在filebeat+；伐木场

我使用filebeat和logstash来监视我的访问日志。 现在我想为每10个日志保留1个日志，并删除其他9个日志，我应该如何编写配置文件？是否希望logstash只处理每10个日志文件中的一个日志文件？是的，我知道配置“drop{percentage=>90}可以实现类似的效果，但它只能降低存储压力，我想知道filebeat中是否有类似的配置，这样我也可以减少数据转换压力。

elasticsearch @在弹性搜索文档中是什么意思？

我的问题是：“@在弹性搜索文档中是什么意思？”@时间戳会随着@version一起自动创建。为什么会这样？有什么意义 这里是一些上下文。。。我有一个将日志写入文件的web应用程序。然后我把这些日志转发给elastic search。最后，我使用Kibana将一切可视化 以下是弹性搜索中的一个文档示例： { "_index": "logstash-2018.02.17", "_type": "doc", "_id": "0PknomEBajxXe2bTzwxm", "_version

elasticsearch 日志存储-管道已终止

我正在学习麋鹿的堆叠。现在，我在AWS实例上设置了Elasticsearch和Kibana。我正在通过我编写的Java控制台应用程序成功地将文档写入索引上的Elasticsearch索引。我可以在Kibana看到那些日志。现在，我想看到这些日志输入到另一台机器上的Logstash中 为了做到这一点，我安装了Logstash。我添加了以下配置： logstash.conf input { elasticsearch { hosts => "https://<aws-ins

我有一个关于logstash grok过滤器的问题

我想通过logstash的grok过滤器提取字段。 例如，如果出现以下日志，我想提取消息时间、线程、日志级别和状态代码 2020-01-01 10:10:10[QuartzScheduler-1]发生错误c.l.c.i.c.t.a.c.AmazonElbV2Task-Exception。。。。。负载平衡；身份代码：400；错误代码：节流 消息时间、线程和日志级别是通过以下过滤器提取的。如何提取状态代码 %{TIME:messageTime}[（？[A-Za-z0-9\W.-+）]%{LOGLEV

Logstash 时间筛选器字段名：@Kibana中的时间戳

我的日志文件中的日期和时间格式如下： [29/02/2020 07:34:27.805] - sc879537 - 10.107.172.25 - 12 - Transaction 2659 COMPLETED 6849 ms wait time 3597 ms 我希望将此值填充到字段中：@timestamp in Kibana，因为此时它包含索引操作时间，而不是日志记录时间。 这是我的日志存储配置文件： input { file { path => "

logstash和grok将数字转换为整数

我试图使用grok和logstash来索引一些数值数据。数据结构类似于： [integer,integer,integer,...,integer] 我在logstash中创建了一个索引模式，并使用grok编写了以下过滤器： grok { match => { "message" => "\[%{NUMBER:opcode:int},%{NUMBER:sender:int},%{NUMBER:alertbitmap:int},%{NUMBER:

Logstash 日志中有这么多变量

我计划转换成一个新的logstash配置来重新建模我的索引，我在logstash中添加了一个if/if-else/else过滤器。目前，该集群约有85个每日滚动的活跃指数。几乎一半是每月一次，大约25-30%是每周一次，其余的将每天进行索引。我在测试环境中测试了conf，没有遇到太多问题。我的问题是，在我将此应用于如此多的指数之后，我是否会经历显著的性能下降。因此，在if/else过滤器中会有很多“or”语句。这会有什么负面影响？它会导致日志延迟或更严重的数据丢失吗？LogstashJVM目前是

  1    2   3   4   5   6  ... 下一页 最后一页 共 76 页