Fatal编程技术网

如何在测试完成时自动杀死logstash代理？

我有一个logstash代理监控我们自动测试的日志转储- 在每一批测试开始时，都会启动一个代理，侦听一个特定的文件夹，最后应该停止 问题就在最后-我需要以某种方式向logstash代理发出信号，表明测试已经完成，然后自杀 我该怎么做？ 如何配置代理，使其在看到来自测试的特定日志消息时自杀 我的配置文件： input { file { type => "cloudify-logs" path => "<path_to_test_class_folder>

elasticsearch 运行Kibana3、LogStash和ElasticSearch，一机多用

通过设置ElasticSearch:，当ElasticSearch位于不同的机器中时，Kibana3可以成功工作：http://different_machine_ip:9200“在Kibana3的config.js中 现在，我想在我的本地机器上运行这三个测试。我正在使用Windows7和Chrome浏览器。我在Tomcat7上安装了Kibana 3。我从LogStashjar文件启动了嵌入式ElasticSearch。 我将ElasticSearch位置设置为“localhost:9200”或

elasticsearch 检索总唯一值kibana+的计数；弹性搜索

基于此问题和答案“” 我已经能够从我们的Apache日志中收集唯一IP地址的单个计数，但是，我实际上想要做的是能够显示单个IP地址的计数，即有多少个唯一的访问者 我想我需要使用terms_stats方面来实现这一点，但我不知道将什么设置为“value_字段” 对于当前版本的kibana，这是不可能的 但我所做的就是创建自定义直方图面板 要创建自定义直方图面板，只需复制现有直方图并修改config.js、module.js以更改新面板的所有路径引用 重写doSearch函数以使用查询 并更新结果解

Logstash 使日志存储输入文件可配置

我有一个logstash代理运行良好： 我的配置文件包含一个带有文件夹路径的输入文件，它将所有数据发送到我的elasticsearch数据库 但我想让我的经纪人更“先进”。我希望有一个外部配置文件或任何其他文件，您可以在其中指定要解析的日志文件夹的路径或路径列表，并在运行时自动对其进行logstash解析 基本上，是否可以有这样的配置： input { path=>external parameter given by the user (example : "c:/users/xxx

消除Logstash中的顶级字段

我正在使用Logstash，我的一个应用程序向我发送如下字段： [message][UrlVisited] [message][TotalDuration] [message][AccountsProcessed] 我希望能够折叠这些字段，同时删除顶级消息。因此，上述字段将变为： [UrlVisited] [TotalDuration] [AccountsProcessed] 在Logstash中有这样做的方法吗？假设预先知道所有这些子字段的名称，您可以使用： 或者，使用a（即使您不知道字段

elasticsearch 如何保存定制的kibana仪表板？

我有一个logstash elasticsearch kibana本地设置，在保存kibana仪表盘时遇到问题。选择“保存”选项会出现以下错误：“保存失败的仪表板无法保存到Elasicsearch”我正在使用Kibana附带的logstash仪表板，经过一些修改后，我试图保存仪表板，但出现此错误 起初，我认为我的用户和密码不正确，我可能忘记了同样的内容。然后，我通过以下命令更改了我的用户和密码：- 在文件中给出了 sudo htpasswd -c /etc/nginx/conf.d/kibana

Logstash 日志存储将日期字段添加到日志

我的应用程序生成没有时间戳的日志。 在logstash中是否有一种方法可以在处理时将时间戳附加到日志中 大概 mutate { add_field => { "timestamp" => "%{date}" } } 默认情况下，Logstash会添加一个@timestamp字段。您不需要设置任何其他内容。Logstash将花费接收事件的时间，并为您添加字段 例如，如果您尝试此命令： LS_HOME/bin/logstash -e 'input { stdin {} }

elasticsearch 在ElasticSearch中更新记录

我想为特定索引中的所有记录更新logdate列。从我到目前为止读到的情况来看，这似乎是不可能的？我是对的 以下是一个文档示例： { "_index": "logstash-01-2015", "_type": "ufdb", "_id": "AU__EvrALg15uxY1Wxf9", "_score": 1, "_source": { "mess

Logstash 日志存储解析进度条

我是Logstash的新手，我正在使用它解析特定目录中500MB的日志文件，目前当我启动Logstash时，它没有显示任何进度条，显示它已完成解析日志文件的百分比。是否有任何方法可以查看日志解析完成的进度？否，Logstash没有内置的进度条功能。大多数情况下，这没有任何意义，因为Logstash旨在连续处理不断增长的日志，而实际上没有任何“完成” 您可以将sincedb文件的内容与相应文件的文件大小关联起来。sincedb文件是Logstash在文件中存储当前偏移量的位置。文件格式的确切描述见

elasticsearch 在特定日期之前获取elasticsearch索引

我的日志存储服务将日志作为每日索引发送到elasticsearch elasticsearch { hosts => [ "127.0.0.1:9200" ] index => "%{type}-%{+YYYY.MM.dd}" } Elasticsearch是否提供API在特定日期前查找索引 例如，我如何获得在2015-12-15之前创建的索引？我想您正在寻找索引查询看看 以下是一个例子： GET /_search { "query": {

Logstash 删除syslog筛选器中的多个日期字段

我已经设置了logstash，正在使用“默认”系统日志过滤器，如下所示： filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDAT

elasticsearch 在使用grok logstash进行分析时为空字段插入伪值

我试图解析日志，并使用logstash将其放入弹性搜索中 我的日志文件的格式如下 [18-Aug-2016 02:28:46,537][ERROR][thread1][package.name] there is error in line 52 \[%{GREEDYDATA:date} %{GREEDYDATA:time}\]\[%{LOGLEVEL:log_type}\]\[%{GREEDYDATA:thread_name}\]\[%{GREEDYDATA:package}\](%{GRE

elasticsearch 如何轻松地将字段从分析更改为非分析

我有一个主机名字段，它通过filebeat进入我的logstash实例，并被传递到ElasticSearch，在那里它被视为一个分析字段。这导致了问题，因为字段本身需要在其整体中报告 示例：了解有多少请求到达“prd-awshst-x-01”，而不是将这些请求拆分为prd、awshst、x、01 有没有人有一种轻量级的方法可以用于可视化 谢谢，根据您文章的标题，您已经知道需要将字段映射更改为“未分析” 您应该设置一个模板，以便将来的索引包含此映射 如果要保留现有数据，必须使用新映射将其重新索引到

Logstash可以'；不读取文件

我第一次使用Logstash。我在Windows 10上 我尝试从如下输入/文件夹访问多行json文件： input { file { codec => multiline { pattern => '^/{' negate => true what => previous } p

elasticsearch 如何在不停止服务的情况下更改elasticsearch上的字段类型？

在过去的两天里，我在谷歌上搜索，在www.elastic.co上寻找信息，但我仍然感到困惑。以下是我的实际情况： 我在上个月学习并建立了麋鹿服务。我通过logstash将我的日志导入elasticsearch 但我在制作可视化图表时遇到了一个问题，我需要求和一个字段来完成此操作，但我得到了一个错误： this field type is string,need number to sum! 计算总和需要一个数字，这很有意义，因此我尝试将字段类型从string更改为number（long） 我

elasticsearch LS和ES监控

我正在使用相同版本5.4.0和filbeat版本5.4.1的EL和LS。这是配置。 --------------elasticsearch.yml cluster.name: elasticsearch node.name: node1 node.attr.rack: r1 path.data: /path/to/data path.logs: /path/to/logs bootstrap.memory_lock: true network.host: 0.0.0.0 http.port: 9

elasticsearch 日志存储未在Windows 10中创建索引

我已经使用zip文件启动了logstash、kibana和elasticsearch。我正在将一个csv文件从logstash接收到elastic search input { file { path => "D:\tls202_part01\tls202_part01.csv" start_position => "beginning" }

elasticsearch 如何防止旧日志从filebeat追加到logstash？

我使用filebeat从远程服务器获取日志，并将其发送到logstash，这样它就可以正常工作。 但是，当新日志追加到源日志文件中时，filebeat从一开始就读取这些日志，并将其发送到logstash和logstash，将所有日志与elasticsearch中的旧日志一起追加到elasticsearch中，即使我们已经在elasticsearch中添加了这些旧日志，因此这里会重复日志 所以我的问题是如何将新添加的日志只发送到logstash。一旦新的日志行追加到日志文件中，那么这些新文件应发送

elasticsearch Logstash是否维护注册表文件？

我使用Logstash将数据发送到Elasticsearch，使用jdbc作为输入，从MySQL表中获取数据。一切都很好，但我有一个问题，每当我删除索引时，我都不会得到与该索引中相同的数据。 Logstash是否像Filebeat一样维护注册表文件 我如何取回数据？有办法吗 任何帮助都将不胜感激。在日志存储输入中尝试clean_run=>true。这将将sql_last_值设置为1970年1月1日或0。在日志存储输入中尝试clean_run=>true。这将sql_last_值设置为1970年1

Logstash 在Python3中，如何删除二进制文件'；b'；在为文件节拍/日志存储写入Popen stdin时？

我目前正在尝试让一些Python代码使用Popen打开Filebeats子进程，处理一些数据，并将处理后的数据写入Filebeats子进程 然而，由于Popens stdin写入/通信需要二进制而不是字符串，我最终也会写入b。这会导致Logstash为无法识别的标记“b”抛出错误：应为（'true'、'false'或'null'） 是否可以卸下b？是否有更好的替代方案可以从python写入filebeats from subprocess import Popen, PIPE filebeats

elasticsearch 在插入到Elasticsearch之前删除具有空值的嵌套字段

我正在使用Metricbeat查询我的数据库并将结果发送到Logstash。其中一个查询返回一个日期列，该列可能包含空值，我们将其称为“records\u last\u failure” 我在logstash中得到以下错误： [2020-12-29T15:45:59,077][WARN ][logstash.outputs.elasticsearch][my_pipeline] Could not index event to Elasticsearch. {:status=>400, :

elasticsearch 将logstash与elasticsearch连接（未嵌入）

我正在尝试将logstash（1.3.3）与ubuntu12上的elasticsearch（0.9+）连接起来。我没有使用嵌入式选项（它可以工作）。我正在尝试使独立设置正常工作。我可以启动elasticsearch。我已尝试通过logstash.conf文件连接到elasticsearch（尝试了0.0.0.0和127.0.0.1），但连接似乎不起作用。任何关于故障排除的想法都会有帮助 logstash.conf output { stdout {codec => rubydebug

Logstash 事件的日志存储下拉筛选器

在我的日志文件中，我有如下条目： 2014-06-25 12:36:18,176 [10] ((null)) INFO [s=(null)] [u=(null)] Hello from Serilog, running as "David"! [Program] 2014-06-25 12:36:18,207 [10] ((null)) WARN [s=(null)] [u=(null)] =======MyOwnLogger====== Hello from log4net, runni

Logstash 获取grok筛选器转换为的正则表达式？

我有一个复杂的grok过滤器表达式。。。是否可以获取此筛选器转换为的正则表达式？您可以使用一个简单的Perl脚本来读取模式文件，并将%{PATTERN}内容替换为它所基于的实际正则表达式--您需要对其进行一些自定义，但它显示了如何执行此操作： #!/usr/bin/perl # this is the path to your grok-patterns file open(F,"patterns/grok-patterns"); while (<F>) { chomp;

Logstash：如果同一台机器上有两个弹性搜索实例，KIBANA URL会是什么

如果同一台机器上有两个弹性搜索实例，那么URL是什么？例如，一个Logstash配置文件重定向到嵌入式弹性搜索，另一个指向同一台机器上的外部ES实例。 如何区分两者 默认情况下，我们使用URL:http://:9292访问KIBANA。到目前为止，如果这两个elasticsearch实例不在同一集群中，KIBANA 3不支持这一点。因此，您必须为每个elasticsearch实例设置两个kibana 您可以按照此操作了解所需的功能

elasticsearch Kibana4在ubuntu 12.04中作为服务启动

我试图在Ubuntu12.04中启动Kibana4作为一项服务。请任何人帮助如何设置为服务 我引用了这些链接来编写脚本，但它不起作用 init脚本中似乎有一个小错误。PID_文件变量使用$NAME变量，但直到稍后才定义名称。将NAME变量移到PID_文件变量之前。初始化脚本中似乎有一个小错误。PID_文件变量使用$NAME变量，但直到稍后才定义名称。将NAME变量移到PID_文件变量之前。下面的代码适用于我 #!/bin/sh KIBANA_EXEC="/opt/kibana/bin/kiban

Logstash 麋鹿堆栈安装和配置

我已尝试在centOS 6.6上安装ELK stack 我不能继续了，我被困在旋涡里了 无法连接到主机 你没有提供太多的信息来作为回答的依据，所以给你任何具体的帮助都有点困难。您应该重新开始安装，仔细地逐步完成每个需求。我建议将以下指南作为起点，其中包括一些疑难解答提示： 如果您编辑您的问题以准确解释您的问题所在，我可以修改我的答案以解决任何具体问题。Elasticsearch正在运行吗？它是否在本地主机上运行？你能从你的机器上用telnet/nc连接到那个端口吗？我能在机器上安装腻子。我禁用了

elasticsearch 根据Logstash中的事件消息添加字段无效

我已经安装了ELK并在我的机器中工作，但现在我想根据事件消息进行更复杂的过滤和字段添加 具体来说，我想根据消息模式设置“id_error”和“descripcio” 我已经在“logstash.conf”文件中尝试了很多代码组合，但无法获得预期的行为 有人能告诉我我做错了什么，我必须做什么，或者这是不可能的吗？提前谢谢 这是我的“logstash.conf”文件，以及我所做的最后一次测试，没有在Kibana中捕获任何事件： input { file { path =&g

elasticsearch 日志存储位置ELK堆栈

我正在使用logstash进行集中式日志记录。我在shipper节点上使用logstash forwarder，在collector节点上使用ELK stack。我想知道日志在elasticsearch中的存储位置。我没有看到在日志存储位置创建的任何数据文件。有人知道这一点吗 登录到运行Elasticsearch的服务器 如果是ubuntu框，请打开/etc/elasticsearch/elasticsearch.yml 查看path.data配置 文件存储在该位置 祝你好运。我同意@Tomer

Logstash ELK Stack-Kibana仅显示一个日志文件的日志

我使用logstash解析了两个access日志文件，在命令提示符中显示了正在解析的两个日志文件。当我在“任意请求”选项卡中检查elasticsearch头时，它也显示了所有解析的日志 但是当我试图在Kibana上查看它时，它只显示第一个文件的日志。如何查看其他文件的日志 这是我的.conf input { file { path => ["G:/logstash-1.5.0/bin/tmp/*_log"] start_position => "beginning

使用logstash将日志行转换为逗号分隔的字段

我对Logstash一无所知。谁能告诉我要添加到配置文件中的过滤器，以便使用Logstash分隔以下日志行 “2011/08/10 09:47:23.449598,0.001199，udp，203.136.22.3715306，147.32.84.22913363，CON，0,0,2317,64，流量=背景udp已建立” 我希望上面的行返回一个JSON对象，如下所示： { TimeStamp: 2011/08/10 09:47:23.449598 Value: 0.001199 protocol

elasticsearch 日志存储输出未显示在kibana中

我刚开始学习弹性搜索，并尝试通过logstash将IIS日志转储到ES，看看它在Kibana中的效果。 已成功设置所有3个代理，并且它们运行时没有错误。但是，当我对存储的日志文件运行logstash时，这些日志不会显示在Kibana中。 （我使用的ES5.0没有“head”插件） 这是我在logstash命令中看到的输出 Sending Logstash logs to C:/elasticsearch-5.0.0/logstash-5.0.0-rc1/logs which is now

Logstash 用Grok捕捉逗号分隔的模式

我正在解析一组日志，其中一个字段给了我问题。 格式是 标题、日期等字段1=数据，字段2=数据，字段3=数据，字段4=数据 我有一个通用的解析器，它读起来像 match => [ "message","%{DATA:..header..} %{DATA}=%{DATA:service},%{DATA}=%{DATA:roles}],%{DATA}=%{DATA:macaddress},%{DATA}=%{DATA:nasip}"] 有时，角色字段的值部分如下所示 值，[Admin]。这由%

elasticsearch Logstash-如何在字段内动态创建校验和

我让filebeat将文件发送到Logstash。 我在仓库里有一些过滤器。看起来是这样的： filter { if [message] =~ /user/{ mutate { gsub => ["message", "user \[(.*?)] was", "user [] was"] } } } 它基本上删除了用户数据，因为我不希望它们出现在日志中。因此，它执行以下操作： 使用者[myemail@email.com]-

Logstash 什么是适合我输入的grok过滤器？

我的输入看起来像： "message" => "ERROR | [default task-55] my.package.className(Class.java:184) | - logstash-ERROR LOG\r", 我的日志存储配置： filter { grok { match => {"message" => "%{WORD:logLevel} | %{WORD:task} %{W

elasticsearch logstash提取嵌套字段并将其移动到新的父字段中

如果在日志中打印给定点的纬度和经度，如何捕获这些信息，以便在弹性搜索中将其作为地理空间数据处理 下面我展示了Elasticsearch中与日志行对应的文档示例： { "_index": "memo-logstash-2018.05", "_type": "doc", "_id": "DDCARGMBfvaBflicTW4-", "_version": 1, "_score": null, "_source": { "type": "elktest", "m

Logstash从redis获取密钥值

是否可以使用过滤器部分中的logstash从redis获取密钥值 比如说 我有一个包含用户名的日志文件。在logstash的filter部分，我可以解析我的日志事件并从中提取用户名 现在我还有一个redis服务器，它以键值格式保存用户角色，其中我的用户名是键，角色是值 是否可以使用logstash连接到redis，并在logstash的filter部分为用户获取相关角色。因为在角色的基础上，我必须做其他的转换 基本上，我想为redis从logstash发出get命令 配置示例： input {

Logstash使用Grok移除管线

我的计划是使用Logstash过滤特定IP的日志文件 我从一个简单的IP过滤器开始，它应该删除所有非有效IP的行，然后删除 grok { match => [ "ip_filter" , " %{IPV4:clientip}" ] tag_on_failure => [ "_todelete" ] } 所以每一个IP无效的行都应该被标记为delete，但是在Kibana我看到每一行都被标记为delete。你知道为什么吗 我的下一步将是删除所有带有“\u todelete”标记的行

elasticsearch 如何从弹性搜索中获取数据并在Splunk中查询数据？

我有一个项目，需要我把索引数据从elasticsearch拉到Splunk。可能吗 我提出了一个名为Elasticseach data integrator的工具，但它没有返回我在Splunk中查询的任何事件，我猜你指的是位于的Splunk应用程序。如果你按照那里的文档配置了应用程序，你可以联系开发人员寻求支持。在应用程序页面上有一个链接。By“Elasticsearch data integrator“我想你指的是位于的Splunk应用程序”。如果您已经按照文档中的说明配置了应用程序，您可以联

用于字提取的Logstash配置

我是个新手，不知道如何做下面的事情。 我有一个样本数据如下： Column:Type Incident Response P3 Incident Resolution L1.5 P2 ... 我想将“响应”和“解决”两个词提取到一个新的列“SLA类型” 我正在寻找与以下SQL语句非常相似的内容： case when Type like '%Resolution%' then Resolution when Type like '%Response%' then Response end a

elasticsearch 安装ELK后，ubuntu服务器cpu利用率快速增长

我在ubuntu服务器上安装了ElasticSearchLogstash和kibana。在我启动这些服务之前，CPU利用率低于5%，在下一分钟启动这些服务之后，CPU利用率超过85%。我不知道为什么会这样。有人能帮我解决这个问题吗 提前谢谢 你的问题中没有足够的信息给你一个具体的答案，但我将指出一些可能的情况以及如何处理它们 你等得够久了吗？有时，在所有服务注册并完成引导之前，预热会消耗更高的CPU。如果你有一个相当小的机器，它可能会消耗更高的CPU，并需要更长的时间来完成 文件夹写入权限。如果

Logstash 调试日志存储索引问题-索引失败时跟踪输出？

我使用logstash将JSON格式的事件转发给Elasticsearch，以启用临时日志分析。我需要识别和查看未编制索引的事件/日志消息。（“无法将事件索引到Elasticsearch”，主要原因是分析错误、数据中的动态映射不匹配。） 是否有办法将错误消息配置为包含源文件和偏移量，以便将错误链接到特定事件 或者，“跟踪”级调试提供所需的详细级别。（错误消息和事件）是否有方法仅为那些无法索引的事件提供跟踪级别的详细信息？（即，对于已成功索引的数百万个事件，避免记录该级别的日志。）或者将错误消息和

elasticsearch Logstash根据字段值添加动态白名单名称

我有一个简单的Json文件日志，需要将其传递到elasticsearch。它包含与此类似的结构 { "component_name": "abc", "abc": "this is abc", "component_action": "action" } 在传递到elasticsearch时，我需要根据“component_name”字段的值将列名列入白名单。在上

Logstash 时间戳的Grok模式

是否有一个grok模式从这个字符串中提取时间戳和日期 21:11:51:569/UTC（11/5/2015） ? 我能够分别使用grok模式日期和时间。但不是在一起 下面的模式有效 %{TIME:time} -- 21:11:51:569/UTC %{DATE_US:date} -- (11/5/2015) 但是，完整的字符串21:11:51:569/UTC（11/5/2015）没有使用%{TIME:TIME}|%{DATE\u US:DATE}进行评估，我想你问了6个问题；我们看看我能不能把

elasticsearch 来自文档字段的日志存储动态索引失败

我仍然需要解决一些问题，如何告诉Logstash基于文档字段发送动态索引。此外，必须对该字段进行转换，以便在最后获得“真实”索引。 假设有一个字段“time”（是UNIX时间戳）。此字段已通过“日期”筛选器转换为弹性的DateTime对象。 此外，它还应作为索引（YYYYMM）提供服务器。索引不应从@Timestamp派生，因为@Timestamp未被触及 例如： {…，“时间”：1453412341，} 将转到索引：201601 我使用以下配置： filter { date { m

上一页   1   2   3   4    5   6  ... 下一页 最后一页 共 77 页