Fatal编程技术网

Logstash 给出错误消息的日志存储，该错误消息不'；与配置无关

所以，我试图设置Logstash与Logstash转发器一起工作，但我遇到了一些问题。看起来lumberjack实际上并没有启动并侦听端口5000（通过netstat-anltp检查），一条与我的配置无关的错误消息被转储到日志存储日志中 我的配置文件 input { lumberjack { port => 5000 ssl_certificate => "/etc/ssl/star_server_com.crt" ssl_key => "/etc/

Logstash ELK Kibana将每个系统日志事件显示两次

我通过wonderfull向导安装了麋鹿 我在CentOS系统上安装了Logstash转发器，一切看起来都很棒 唯一的问题是每个syslog事件都会被写入两次。 我试图搜索解决方案，但并没有重新启动服务，而且我确信linux知道如何编写日志。不改变索引节点 我还能试什么？ 我所有的配置文件和应用程序版本在指南中都是一样的我知道了 logstash货运代理服务是 我不知道为什么，但当我运行服务logstash forwarder start两次时，我没有得到一个警报作业已经在运行，它只是启动另一个

Logstash 跟踪日志文件未注册事件（带有-tail=true的日志存储转发器）

我只想从logstash forwarder将新创建的日志转发到logstash服务器 我有一个logstash-forwarder.conf文件 我想知道是否有像start\u position=>end这样的选项添加到这个配置文件中。 在运行logstash转发器时，我还尝试使用-tail=true。它会拍摄快照，但harvest似乎不会记录事件。它只在没有-tail命令行选项的情况下注册事件，或者在给定-tail=false时注册事件，这将从一开始转发所有日志 { "network"

Logstash 无法查询日志存储中以前事件的elasticsearch

我是一个非常新的日志库，创建了配置文件来处理两种不同类型的文件。我已经为类似的字段创建了字段，其中输入文件中的字段相同，并且我已经将一些值从请求关联到响应。虽然在这种情况下，我面临以下错误，但在查询部分，我解析数据时，它是类似的，尽管它显示错误im在不明。我存储在同一个索引中的两个文件。如果我运行该文件而不删除索引，则意味着它将被关联 My correlation : " elasticsearch { sort => [

Logstash 博桑&x2B；日志存储-如何配置警报？

尝试基于日志存储查询配置警报 这是我的简化配置： logstashElasticHosts = http://<url>:9200 alert logstash.errorrate.exceeds1 { template = generic $notes = "The rate of errors in 5 sec exceeds 1." $lastday = lscount("prod", "level:ERROR", "level:ERROR", "5s

elasticsearch Logstash多行自定义json解析失败

我有一个带有json对象的Kafka队列。我用一个基于java的离线生产者来填充这个队列。json对象的结构如示例所示： { "key": "999998", "message" : "dummy \n Messages \n Line 1 ", "type" : "app_event", "stackTrace" : "dummyTraces", "tags" : "dummyTags" } 请注意消息中的\n 我用一百万个对象加载了

有了logstash和grok，我如何将时间分为小时、分钟和秒？

我有一个字段可以如下所示：23:59:47 我试着用 %%{HOUR:HOUR}:%%{MINUTE:MINUTE}:%%{SECOND:SECOND}作为一种模式，但这给了我通用的grokparsefailure {TIME:TIME}运行良好，但我需要时、分、秒 filter { grok { match => {"message" => "%{DATE:date} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} %{GR

elasticsearch 将现有字段映射转换为geoip

我已经使用logstash解析了一个日志文件，并将其放入elasticsearch。我有一个名为IP的字段，它现在映射为字符串。我想将elasticsearch中的现有映射转换为geoip，而无需再次运行logstash。我在elasticsearch这个领域有几百万条记录。我想在所有记录中将IP的映射从字符串转换为geoip。恐怕您仍然必须使用Logstash，因为geoip是一个Logstash过滤器，Elasticsearch本身无法访问geoip数据库 不过，不用担心，您不需要在原始日志

与IRC的Logstash似乎不起作用

我试图用Logstash从IRC获取消息，但我什么也没有得到。这是我的配置文件： input { irc { channels => ["#logstash"] host => "irc://irc.freenode.net" user => "abcde" } } filter { } output { st

elasticsearch 连接两个独立事件的Kibana

我已将ELK配置为脱机收集数据，日志文件如下所示： Info 2015-08-15 09:33:37,522 User 3 connected Info 2015-08-15 10:03:57,592 User 99 connected Info 2015-08-15 11:42:37,522 User 99 disconnected Info 2015-08-15 11:49:12,108 User 3 disconnected 我要找的是时间线上的平均连接时间 我无法向消息中添加更多信

elasticsearch 如何让Elasticsearch从文件的第一行获取列名？

我刚开始使用Elasticsearch/logstash 我有3个具有公共id的不同文件。每个文件的第一行都包含列名，例如： header1,header2,header3,header4 1234,data2,data3,data4 1235,data2,data3,data4 1236,data2,data3,data4 如何让Elasticsearch获取第一行作为列名 另外，如何使用文件之间的公共id进行弹性研究，例如q:column=data group by id？看起来您有csv

Logstash过滤非结构化日志

我对Logstash是个新手，我会尽我最大的努力掌握它。我的问题如下： 我有一个日志，其结构如下： 时间-数据-消息 每10到15个日志条目链接到一个具有ID的作业，但只有该作业的第一个条目标记有ID 现在，我想尝试向后面的每个条目添加一个字段，以便标识与特定ID相关的所有条目 这里有一个例子 29.09.15 16:17:00:191-文本ID:00000001文本 29.09.15 16:17:00:206-文本 29.09.15 16:17:00:253-正文 29.09.15 16:1

elasticsearch 在filebeat+中合并行；伐木场

我们已经成功地将麋鹿堆栈安装到我们的生产环境中。我们还可以在Kibana服务器上看到日志（日志是非结构化的）输出 我们一切都很好。但我们唯一关心的是，kibana中的消息是针对写入给定日志文件的每一行进行结构化的 问题： P>＞是否有一种方法来合并（线段< /强>）日志消息，由< > max >行> >（在文件发送之前发送到LogSTASH或弹性搜索< /强>强），这将被认为是弹性搜索/ Kibana /LogStuff.中的1事件。 注意：只需注意日志消息是非结构化的（其中没有特定的re

使用logstash读取上个月的日志

我已将日志存储配置文件配置为读取apache访问日志，如下所示： input { file { type => "apache_access" path => "/etc/httpd/logs/access_log*" start_position => beginning sincedb_path => "/dev/null" } } filter { if [path] =~ "acc

elasticsearch 使用索引模板在弹性搜索中配置TTL

我有一个要求，只有存储10天的弹性搜索，这是通过logstash来的数据。由于我并没有太多的数据，所以我采用了通过索引模板设置TTL的方法 谁能告诉我我到底要做什么 我可以创建索引模板，在模板文件中，我将以下代码保存在default.json文件中 { "_ttl" : { "enabled" : true, "default" : "10d" } } 但我不知道该把这个文件保存在哪里，以及如何调用这个文件。 它会被自动调用还是我必须手动调用 任何人都可以让我知道分

elasticsearch logstash添加_字段转换问题

我使用的是logstash版本5.0.2。解析一个文件，其中包含一个文件名作为logstash grok filter解析的字段之一，但是为了可视化，我需要文件号来标识每个文件。所以我通过在[message]中检查文件名的mutate filter add_field添加了新字段 if 'filename_1' in [message] { mutate { add_field => { "file_no" => "13" } } mutate {co

Logstash 删除日志存储中的某些记录

我试图在解析日志时从日志中删除图像加载URL，但我尝试了以下方法，但无效： if [message] !~ "*.(jpg|jpeg|gif)" { drop {} } 因此，举例如下： [域]/home/home.do [domain]/home/home2.do [domain]/home/image.jpg [域]/home/test.do [域]/home/image.gif 我想被过滤到： [域]/home/home.do [domain]/home/home2.do [域]/h

elasticsearch Logstash在Windows 10中不工作

我是麋鹿队的新手，如果我问的是最基本的问题，对不起。 我在Windows10中设置了ELK。 已安装Java，并已设置Java_主路径 我已安装： Elasticsearch 5.6.1 基巴纳5.6.1 日志存储5.6.1 当我测试ELK的安装时，Elasticsearch（）和Kibana（）已启动并正在运行，但当我运行测试命令logstash-e'input{stdin{}}output{stdout{}}'时，logstash显示以下错误**系统找不到指定的路径** 系统找不到指定的

elasticsearch 使用filebeat处理日志存储时出现权限错误

我正在研究elastic stack，我已经运行了elasticsearch和logstash服务器，并在本链接的文档中描述了进一步的过程 现在，当我尝试执行此命令时： sudo ./filebeat -e -c filebeat.yml -d "publish" 我得到这个错误： Exiting: error loading config file: config file ("filebeat.yml") must be owned by the beat user (uid=0) or

Logstash 如何调试Grok解析失败

我有两个类似的logstash配置。一个正常，另一个不正常，我不知道如何继续 第一个工作配置： input { stdin { type => "dec" } } filter { if [type] == "dec" { if "SYN/ACK" in [message] or "ACK" in [message] { grok { match => { "message" => "%{SYSLOGTIMESTAMP:

elasticsearch 如何在日志中使用新数据更新索引？

我有postgresql10数据库和表。每小时有7000个新数据进入表格 在logstash6.4中，我有这样一个.conf文件，它在Elasticsearch中创建索引 .conf： input { jdbc { jdbc_connection_string => "jdbc:postgresql://@host:@port/@database" jdbc_user => "@username" jdbc_password =

elasticsearch Filebeat：将不同的日志从Filebeat发送到不同的日志存储管道

我想要一个filebeat实例可以向不同的日志存储管道发送数据的功能。 这可能吗 我已经配置了一个日志存储服务，它有两个管道，两个都是 给出了不同端口的管道。 假设管道1（端口5044），管道2（端口5045） 现在我想使用filebeat将数据发送到日志存储。所以我有 两种类型的日志文件，比如log1，log2 我想将log1发送到管道1，将log2发送到管道2 我只运行filebeat的一个实例，如何做到这一点？filebeat只能有一个输出，您将需要运行另一个filebeat实例，或者更改

elasticsearch 管理logstash管道的输出

我们试图为LogStash服务器中的所有管道添加一个字段（我们有6个本地LogStash，每个国家3个）。 具体来说，我们试图从环境变量中添加一个字段，以在索引中用后缀标记管道的输出，例如（美国、欧盟），但我们有许多管道（大约145个国家），其主要思想不是在所有输出插件中添加此环境变量，而且这不是强制性的，所以如果有人忘记添加环境变量，我们将遇到严重的问题 然后，我们试图找到一种方法，在每个输出中自动添加此字段，而不添加此环境变量。根据您的经验，在logstash“world”中是否可以在输出插

Logstash 查找日志文件日志库

我需要编写一个grok模式来检索“**”中的内容 日志应该从顶部获取日期，从列表中获取用户名和作业名。 每个日期下的行数可能会有所不同 我想不出一种完全符合我要求的衣服 它可以是Logstash中Grok和filter的组合，但我的最终期望是拥有这些列。您可以尝试下面的Grok过滤器。有2个过滤器 获取标题中的日期和时间。 -----Start of script for server (.*[a-z|A-Z|0-9]) at %{GREEDYDATA:UserDateTime} (.*[a-z

elasticsearch 日志存储错误：未能发布事件，原因是：写入tcp YY.YY.YY.YY:40912->；二十、 XX.XX.XX:5044:写入：对等方重置连接

我正在使用filebeat使用logstash将日志推送到elasticsearch，之前的设置对我来说很好。我现在收到发布事件失败错误 filebeat | 2020-06-20T06:26:03.832969730Z 2020-06-20T06:26:03.832Z INFO log/harvester.go:254 Harvester started for file: /logs/app-service.log filebeat | 2020-0

如何在logstash中重新启动多个conf文件

我有16个conf文件，所有这些文件都计划在每天上午9:05运行。今天，这些文件无法在预定时间运行。修复问题后，我尝试重新启动logstash，但conf文件无法生成索引 示例dash\u KPI\u 1.conf文件： input { jdbc { jdbc_driver_library => "/var/OJDBC-Full/ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.dr

基于公共字段合并两个索引，但希望使用logstash分离结果

我有两个索引 索引1:{“code”：1，“name”：john，“city”：“孟买”} 索引2：{“代码”：1，“月份”：6月，付款：78000}，{“代码”：2，“月份”：7月，付款：98000}，{“代码”：1，“月份”：8月，付款：88000} 我想要的是： 索引3：{{“code”：1，“name”：john，“city”：“孟买”，“月：6月”，付款：78000}，{“code”：1，“name”：john，“city”：“孟买”，“月：8月”，付款：88000} 我在做什么： i

Logstash Kibana一直抱怨dateparse和grokparse错误

我的logstash管道中有以下内容（从Filebeat接收多行日志）： 然而，尽管日志通过Kibana，但它没有向我显示“正确”的数据，抱怨grokparse和dateparse错误（即使grok规则在Kibana调试器中测试良好！）： 信息如Kibana所示： Audit file /u01/app/oracle/admin/DEVINST/adump/DEVINST_ora_43619_20200913121607479069143795.aud Oracle Database 12c S

elasticsearch 在logstash中将csv解析为kafka时出错

我正在尝试使用LogStash将csv数据发送到kafka，并实现我自己的名为test.conf的配置脚本。 我在解析时遇到这个错误 Using JAVA_HOME defined java: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 WARNING, using JAVA_HOME while Logstash distribution comes with a bundled JDK WARNING: Cou

elasticsearch Logstash管道已停止将数据插入elasticsearch

Logstash管道未将数据摄取到elasticsearch索引中，尽管管道正在运行。这条管道是一年前部署的 一年前，它运行良好，从那时起。但在2021年5月24日，它停止接收数据。重新启动日志存储修复了该问题。 我们检查了日志，但没有发现任何东西。请参阅下面的日志 Aug 26 12:08:37 xyz.com logstash[827]: [2020-08-26T12:08:37,503][WARN ][logstash.outputs.elasticsearch] Restored con

elasticsearch Logstash解析unix时间（以毫秒为单位，从历元开始）

我正在尝试使用unix_MS模式在logstash/grok中以毫秒为单位匹配自epoch以来的unix时间，我得到： 模式%{UNIX_MS:timestamp}未定义 UNIX\u MS的已经定义，当我使用--configtest运行时，测试通过，所以我希望它能正常工作 输入示例：1415731504.54126，公制1130 我的.conf： filter { grok { match => [ "message", "%{UNIX_MS:timestamp},%{

elasticsearch Elasticsearch批量删除原因“；快递取货；错误

我在解决logstash批量导入配置文件的问题。因此，我反复删除数据并将其重新加载到ElasticSearch中（通过Logstash） 要批量删除数据，我使用： curl -XDELETE 'http://localhost:9200/logstash-*/nbu_job' 这样做之后，我会得到类似以下的错误（在Kibana中）： Courier Fetch: 133 of 160 shards failed 我有什么办法解决这个问题吗？您可以检查群集模板，转到“设置”并重新加载索引的字段

Logstash 日期格式YYYY/MM/DD HH:MM:ss是否有任何现有的grok{}模式？

我在检查服务器上的nginx错误日志时发现，日志以日期开头，格式如下： 2015/08/30 05:55:20 i、 e.YYYY/MM/DD HH:MM:ss。我试图找到一个现有的grok日期模式，这可能有助于我快速解析它，但遗憾的是找不到任何这样的日期格式。最后，我不得不将模式写成： %{YEAR}/%{MONTHNUM}/%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}? 我仍然希望是否有一个更短

Logstash 日志存储输出到https

我在windows 8.1上运行logstash 输出设置为https地址。wich托管在windows server 2012 r2上。 当请求到达服务器时，会被拒绝。这是我从logstash得到的： ←[33]处理异常{：请求=>“保持活动状态”，“内容” nt类型“=>”应用程序/json“，”内容长度“=>517}>@method=“POST”@body=“{\”A 活动时间\“：\“2015-08-25T08:48:11.691Z\”，“日志类型\:“信息\”，“服务名称\”： \“

Logstash 无法在maxmind的GEOIP数据库中查找IPv6

FORWARDEDipV6[CLIENTIPV6]主机名[25/Mar/2016:19:47:13+0530]点击“获取URL HTTP/1.1”200 5-“Apache HttpClient/UNAVAILABLE（java 1.4）”0.000- 但是我没有得到地理位置的支持弹性堆栈5 geoip { source => "remoteip" target => "geoip" database => "/etc/logstash/mmcity6.dat" add_fie

Logstash GROK中的Loglevel模式

我不熟悉logstash和grok，对模式有疑问。 我正在尝试为我的apache错误日志创建一个grok模式。 然而，我对以下行为有点困惑 如果我在中使用基础匹配： 我在以下日志片段中发现不匹配： [Sun Apr 10 09:28:01 2016][error][client 111.11.111.111]文件不存在 不存在：/var/www/html/favicon.ico 现在，如果我分别运行%{LOGLEVEL:severity}或%{IPV4:clientip}%{GREEDYDATA

elasticsearch Logstash jdbc插件：如何为列使用日期过滤器？

在我的MS SQL表中，有一列日期存储为字符串，格式为“dd-mm-yyyy 00:00:00.000” 例如：1999-10-06 00:00:00.000或2000-04-27 00:00:00.000 在导入期间，我希望将此列的值转换为日期类型 我看到了一个名为filter的特性，它可以进行这种类型的转换。 我找到了一些示例，但仅用于解析Beats带来的带有某种regex的全文行日志 如何将此功能用于sql列？ 例如，如何调整此conf文件以使其真正工作 input { jdbc

logstash匹配log4j日期，用括号括起来

我的日志以以下内容开头： [2017-01-12 01:02:28.975][其他资料]更多日志。这是多行 我想匹配这个日志和它下面的所有行-当我看到一个像上面一样的新时间戳时结束日志条目 我的输入看起来像： input { file { type => "my-app" path => "/log/application.log" start_position => "beginning" sincedb_path => "/tmp/

elasticsearch 用于自定义日志的日志存储过滤器Grok

我第一次使用Logstash，我试图用grok过滤器映射日志，将它们放在ElasticSearch上，并用Kibana可视化 这是我目前的情况： 过滤器 filter { grok { match => { "message" => "%{TIMESTAMP:timestamp} | %{WORD:trackingId} | %{WORD:request} | %{WORD:session} | %{IP:client} | %{WORD:userId} |

logstash未解析的自定义模式

我在分析下面的模式时遇到了一个问题 日志文件将以==或=或> 我正在尝试下面的自定义模式。一些日志MSG可能没有这种模式，因此我使用* （？（=）*） 但是日志表没有解析并给出“grokparsefailure” 请检查并建议上述模式是否错误。。非常感谢下面的模式运行良好。 （？[=]*） 我之前用过的那个出错的是 （？（=）*）需要注意的是，有一种更好的方法来处理日志数据中的“有些做，有些不做”方面 (?<Importance>(=<>)*) 这应该匹配您正在寻找的三

将文件日志发送到logstash

我在GCS中有文件，每个文件都包含json行 文件示例： {"msg": "hello world", "level": "info", "timestamp": "2017-09-01T00:00"} {"msg": "some error", "level": "error", "timestamp": "2017-09-02T00:00"} {"msg": "success" , "level": "info", "timestamp": "2017-09-03T00:00"} ...

elasticsearch 如何使用grok模式匹配此日志？

日志内容如下所示： [2018-07-09 11:30:59] [13968] [INFO] [1e74b6b7-fcb2-4dde-a259-7db1de0350ea] run entry() 11ms [2018-07-09 11:30:59] [13968] [INFO] [1e74b6b7-fcb2-4dde-a259-7db1de0350ea] entry done \[%{TIMESTAMP_ISO8601:timestamp}\] \[%{NUMBER:process_id}\]

基于logstash中的模式将字符串转换为数组

我的原始数据 { message: { data: "["1,2","3,4","5,6"]" } } 现在我想将数据字段的值转换为数组。 因此，它应该成为： { message: { data: ["1,2", "3,4", "5,6"] } } 利用 mutate { gsub => ["data", "[\[\]]", ""] } 我去掉了方括号 之后，我尝试使用逗号进行拆分。但那是行不通的。因为我的数据也有逗号 我试着写了一

如何检测&；对logstash elasticsearch输出中的错误执行操作

使用logstash elasticsearch输出时，我试图检测任何错误，如果出现错误，请对消息执行其他操作。这可能吗 具体地说，我使用指纹识别来分配一个文档id，如果该文档id已经存在，我想使用elasticsearch输出操作“create”抛出一个错误——但在这种情况下，我想将这些潜在的重复项推到其他地方（可能是另一个elasticsearch索引），以便我可以验证它们实际上是重复项 这可能吗？看起来死信队列可能会做我想做的事情——只是声明忽略了409个冲突错误

elasticsearch 无法使用logstash在elasticsearch上创建索引

我使用elasticsearch和logstash来可视化kibana的数据集 我按照规范创建了一个配置文件，启动并运行elasticsearch和kibana，然后加载配置文件。当我加载完文件后，我得到了下面的消息。我知道文件没有加载，因为我会在提示符中看到数据集。我还在kibana dashboard中搜索索引，但它没有显示索引 以下是我收到的提示信息： Thread.exclusive is deprecated, use Thread::Mutex Sending Logstash lo

elasticsearch If语句不适用于grok筛选器日志存储 问题

我试图学习logstash和使用条件语句解析grok。日志在if语句外部成功解析，但在语句内部未解析任何内容。好像格罗克没有读到这个表达 目标 [2020-01-09 08:32:46]详细[18962][C-0000ceae]pbx.C:正在执行[s@macro-拨出中继线：新堆栈中的26]NoOp（“PJSIP/3513-0001108e”，“拨号因某种原因失败，拨号状态=忙，挂断原因=19”） 过滤器 { 格罗克 { 匹配=> { （一）本人（以下）：（：（一）本人（以下）：（：（一）本人

elasticsearch Logstash-如果%{statement}有；“价值”；

在Logstash中，我试图设置一个条件，如果在名为“cowrie.json”的文件中收到一条以“login-trument*”开头的新消息，则发送一封电子邮件 这就是我所尝试的： output { if [log][file][path] =~ "cowrie.json" { if %{message} =~ "login attempt.*"{ email { to => 'test@address.com'

上一页   1   2   3   4   5    6  ... 下一页 最后一页 共 77 页