我正在使用logstash进行集中式日志记录。我在shipper节点上使用logstash forwarder，在collector节点上使用ELK stack。问题是我希望logstash从shipper节点上存在的文件的开头开始解析。发货人上的配置文件logstash-forwarder.conf具有以下配置： { "network": { "servers": [ "XXX.XX.XX.XXX:5000" ],

elasticsearch 在ELK实现中使用collectd而不是topbeat来监控系统统计信息

标签：elasticsearch Logstash Kibana elastic-stackcollectd

在通过ELK堆栈收集多个系统的系统统计数据（CPU和RAM）的用例中，我认为使用topbeat->elasticsearch->Kibana应该是直截了当的。有什么理由让你仍然选择collectd->logstash->elasticsearch->kibana 如果您只需要cpu和进程负载，那么topbeat就可以了。collectd更像是一个基础设施。他们可能希望beats最终能到达那里。感谢@Alain的回复。是的，topbeat应该允许collectd风格的插件更加灵活。

elasticsearch 基巴纳垂直条形图

标签：elasticsearch Logstash Kibana kibana-4elastic-stack

我已经设置了ELK堆栈，下面的JSON类型存储在elasticsearch中（下面的JSON是从Kibana UI复制的） 现在我想显示垂直条形图，当“action”等于“passthrough”时，它将有前5个“hostname” { “_指数”：“logstash-2016.06.16”， “_类型”：“utm”， “_id”：“AVVaFcaB7mNsx5uOb1-u”， “_分数”：空， “_来源”：{ “消息”：“日期=2016-06-16时间=22:10:26主机名=\”google

这是一个示例日志“有遗嘱的地方。他们是一种方式” 我需要在一个字符串中存储“where thas”，在另一个字符串中存储“this is a way”，即希望在Logstash中基于连字符和点进行拆分 我试着使用split，但被卡住了 请帮帮我 请出示你的证件好吗？那么你已经在一块地里找到了线了？这是我的日志：玫瑰是一朵花；花是玫瑰这里是我的配置文件{file{path=>[“/home/user/Documents/milliclogs/trial/split1.log”]start\u po

elasticsearch Logstash从字符串创建一个值数组

标签：elasticsearch Logstash logstash-configuration

我的日志中有以下一组信息。它是JSON格式的 { "someField":"someValue", "columns":"[colName1, colName2, colName3, ... colNameN]", "someField":"someValue" } 我希望将其作为数组存储在同一字段列中 我想展示的用例是有多少用户使用了名为colName1的特定列，以及该列的数量 我在output.conf中使用了elkstak5.xMutate.conf可能会对您

elasticsearch 是否有方法从logstash中最后一次解析的位置开始解析文件？

标签：elasticsearch Logstash elastic-stacklogstash-grok

这是我的日志存储配置（根据的答案修改） 以下是我的问题： 缓慢：我的文件大小为50MB，logstash在解析它时花费了很长时间。是否有某些配置导致了这种速度慢，或者是否有其他原因，或者在解析这种大小的文件时日志存储速度慢 从上次解析的位置开始解析日志，因为我将把这些解析的事件发送给ELK 当这是日志中的最后一行时处理多行。 input { file { path => "/u/bansalp/activemq_primary_plugin.stats.log.0" ### F

elasticsearch 是否可以为filebeat配置多个输出？

标签：elasticsearch Logstash filebeat

在我们的一个应用程序中，我们使用logstash解析应用程序日志，并将其索引到elasticsearch中。我们的简单架构是logfiles-->filebeat-->logstash-->elasticsearch 由于我们启用了多个日志文件示例（apachelogs、passengerlogs、应用程序日志等），logstash无法解析数据量，因此elasticsearch中缺少日志。有没有办法在logstash处理大量数据，或者我们可以有多个logstash服务器根据日志类型从filebe

elasticsearch 从路径中提取字段并将其添加到新的已用事件

标签：elasticsearch Logstash

我的文件存储如下： c:/…../agency/device/log.txt 我想提取代理和设备的字段，并将它们添加到日志中的每个事件中。 现在我使用grok过滤器来完成这项工作，它对日志中的所有事件都很有效，但我希望这些字段被添加到新创建的已用事件中，我一定对创建新事件感兴趣。 这是我的日志现在的样子： filter { grok { match => {path => "%{GREEDYDATA}/%{GREEDYDATA:agency}/ {GREEDY

在将匹配的文件输出到命名目录之前，我正在拉入一系列文件，并使用logstash根据正则表达式仅过滤出我需要的文件，但是正则表达式不起作用，没有任何内容被过滤掉 output { if [filename] =~ /.*[abc|def].*/ { file { path => "/my/directory/%{filename}-%{+YYYY-MM-dd}.log" codec => line { for

我从logstash中的filebeats接收数据，但没有看到[log][file][path]的值。 我看到其他人在日志数据中得到数据，下面是我收到的。日志路径没有来自beats的数据。提前谢谢你的帮助 { "_index" : "%{merchant_id}", "_type" : "_doc", "_id" : "gpPkankB77M3Al5AC9Cs&q

elasticsearch logstash索引未将数据推送到ES

标签：elasticsearch Logstash Kibana

Wowwee.，logstash indexer的大问题。下面是我的索引器配置文件 input { redis { host => "redis.queue.do.development.sf.augnodev.com" # these settings should match the output of the agent data_type => "list" key => "logstash" codec => json

总结： 在logstash中使用过滤器，从事件字段中读取值，在外部文件（如csv）中查找该值，并从匹配的外部文件中检索值。使用外部文件中的值作为额外字段添加到事件中 更多信息： 我有一个包含事件的日志文件。这些事件看起来像： {"@timestamp":"2014-06-18T11:52:45.370636+02:00","location":{"MainId":3,"SubId":"5"},"EndRequest":{"Duration":{"Main":0,"Page":6720}}} 我

我使用logstash已经有一段时间了，在apache访问日志和偶尔使用mysql日志方面取得了巨大成功。我刚刚开始将其用于qmail日志，但希望有一种更好的方法根据qmail ID对qmail日志进行分组，并能够跟踪跳转或其他传递失败和状态。我看过一些关于后缀的东西，但没有看到qmail 有人在qmail中使用过这样的logstash吗？您的日志存储配置看起来如何？你的Kibana仪表盘看起来怎么样 任何帮助都将不胜感激 下面是一些qmail日志的示例： Oct 15 09:26:08 ima

elasticsearch 使用未推荐的ElasticSearch版本（最新）和Logstash（最新）

标签：elasticsearch Logstash

提出此问题时的最新日志，1.4.2建议使用ElasticSearch 1.1.1。文档中有一个注释： 版本说明：您的Elasticsearch群集必须运行Elasticsearch 1.1.1。如果您使用Elasticsearch的任何其他版本，您应该在此插件中设置protocol=>http 注意事项没有失效-在回答此问题时，运行最新的ElasticSearch时是否存在任何已知问题，1.4.0使用最新的日志存储和设置协议=>http？在记录在案的滚动升级过程之后，我继续将ES节点升级到1.4

elasticsearch Logstash/Elasticsearch CSV字段类型、日期格式和多字段（.raw）

标签：elasticsearch Logstash Kibana

我一直在尝试使用Logstash中的CSV过滤器将一个制表符分隔的文件放入Elasticsearch。获取数据实际上非常简单，但当我查看Kibana中的数据时，很难正确获取字段类型。日期和整数继续以字符串的形式出现，所以我不能按日期绘图，也不能对整数（总和、平均值等）执行任何分析函数 我在填充.raw版本的字段时也遇到了问题。例如，在设备中，我有类似“HTC One”的数据，但如果我在Kibana中做饼图，它将显示为两个单独的分组“HTC”和“One”。当我尝试绘制device.raw图表时，它

elasticsearch 更新父/子关系文档时，如何确保使用logstash进行正确的路由？

标签：elasticsearch Logstash

我在弹性搜索中设置了父/子关系。当我尝试更新父对象时，它有时有效，有时无效。我相信我已经把范围缩小到了一个缺少文档的错误，因为我不知道如何使用logstash指定路由。（父/子关系必须路由到同一个碎片）。考虑到我已经在映射中设置了路由路径，我认为elasticsearch会自动完成这项工作，但它似乎只在我在RESTAPI URL中指定路由参数时才起作用。但是，logstash似乎没有办法在更新时添加这一点。我正在使用带有http协议的logstash弹性搜索输出插件 让我更加困惑的是，elast

我有一个服务器，它以自定义日志格式将访问日志发送到logstash，并使用logstash过滤这些日志并将它们发送到Elastisearch 日志行如下所示： 0.0.0.0 - GET / 200 - 29771 3 ms ELB-HealthChecker/1.0\n 并使用此grok筛选器进行分析： grok { match => [ "message", "%{IP:remote_host} %{USER:remote_user} %{WORD:method} %{

（这与我的另一个问题有关） 我有一个日志文件，它的行看起来像： 14:46:16.603 [http-nio-8080-exec-4] INFO METERING - msg=93e6dd5e-c009-46b3-b9eb-f753ee3b889a CREATE_JOB job=a820018e-7ad7-481a-97b0-bd705c3280ad data=71b1652e-16c8-4b33-9a57-f5fcb3d5de92 14:46:17.378 [http-nio-8080-ex

elasticsearch 日志存储配置文件错误（应答不工作）

标签：elasticsearch Logstash logstash-configuration

关于[url][queryString]，唯一可以确定的是它以404开头；或者钥匙很长。我需要取下这些钥匙。 如果我使用下面的ruby代码，它会给出无法将链接的hashmap转换为字符串异常 input { file { # Wildcards work, here :) path => ["C:\Users\ppurush\Desktop\test\*.log"] start_position => "beginning"

elasticsearch 从Mysql转储到elastic

标签：elasticsearch Logstash

我们使用logstash将数据从mysql转储到弹性搜索。我试图根据一个用户id转储所有付款的列表（这将是我的_类型的_id） 弹性映射看起来像这样 { "Users": { "properties" :{ "userId" : { "type" : "long" }, "payment" : { "properties":{ "paymentId": { "type": "long" } } } } sql表

elasticsearch 日志隐藏：变异过滤器不工作

标签：elasticsearch Logstash

我有下面的过滤器 filter { grok { break_on_match => false match => { 'message' => '\[(?<log_time>\d{0,2}\/\d{0,2}\/\d{2} \d{2}:\d{2}:\d{2}:\d{3} [A-Z]{3})\]%{SPACE}%{BASE16NUM}%{SPACE}%{WORD:system_stat}%{GREEDYDATA}\]%{SPACE}%{

elasticsearch 如何在elasticsearch中删除大量文档？

标签：elasticsearch Logstash

由于错误，我从logstash获取了太多的数据，我将时间间隔设置得太短：64秒 input { exec { command => "python /etc/logstash/extract_serveurs.py" interval => 64 codec => "json_lines" type => "jsonserveu

我已经安装了ELK stack，即将进行性能测试。 了解自己无法解决的疑问，专业建议/意见会有所帮助 我怀疑 1.是否在LIVE上执行logstash-这意味着，在我对应用程序进行性能测试的同时，安装logstash并运行ELK 2.或首先执行性能测试收集日志并将日志馈送至logstash离线。（此选项非常可能，因为我只运行此测试约30分钟） 哪一个性能更好 我的应用程序在Java上，由于logstash也使用JVM进行解析，我担心这会对我的应用程序性能产生影响。 考虑到这一点，我更愿意选择方案

日志行的示例： 2017-05-04 10:37:22,972 INFO [My.Super.JAVA.CLASS] Outbound Message bla bla 2017-05-04 10:38:22,972 INFO [My.Super.JAVA.CLASS] Inbound Message bla bla 2017-05-04 10:39:22,972 INFO [My.Super.JAVA.CLASS] some other bla bla 我想做的是做3个图案，每种类型一个。以

我正在尝试编写logstash过滤器，以从多个日志行中提取一些数据 我想使用多行过滤器，但这似乎并不能解决我的问题： 如果我基于某个公共模式合并行，比如本例中的0x000005fa，那么还有100行以模式0x000005fa开头 我有如下的日志行 < p:0x000005fa P:STM t:0x00ba94f0 T:component M:file1.c F:func_1 L:2343 > module Helper library has reported: check on p

我使用的是Logstash5.4.2持久性队列。我有配置文件来获取输入，抛出JDBC，进行一些转换，并将输出存储到MongoDB。但是当我在logstash中运行它时，它只插入很少的记录，比如说6000条，而实际输出应该是300000条记录。主管道被关闭。当我看到数据文件夹中的页面文件有更多记录时。如何在关机前或关机后不使用管道将数据刷新到输出中。我的logstash持久性队列设置如下 pipeline.workers: 2 pipeline.output.workers: 1 pipeline

elasticsearch 如何在kibana中查看日志

标签：elasticsearch Logstash Kibana elastic-stack

我是麋鹿新手，我使用net.logstash.logback.appender.logstashtcpsocketapender试用了带有springboot的麋鹿堆栈。我向logstack发送了json消息。以下是我的配置- logbackspring.xml <configuration> <include resource="org/springframework/boot/logging/logback/defaults.xml" /> ​ <s

elasticsearch geoip.location在mapping[doc]中定义为对象，但此名称已用于其他类型的字段

标签：elasticsearch Logstash

我得到了这个错误： 无法将事件索引到Elasticsearch。{：状态=>400， ：action=>[“index”，{:_id=>nil，：_index=>“nginx-access-2018-06-15”， ：_type=>“doc”，：_routing=>nil}，#],， ：response=>{“index”=>{“u index”=>“nginx-access-2018-06-15”， “_type”=>“doc”、“_id”=>“jo-rfGQBDK_ao1ZhmI8B”、“s

elasticsearch 如何使用logstash从elastic中获取与条件匹配的嵌套对象

标签：elasticsearch Logstash

我正在尝试使用以下名为“export nested.conf”的配置文件，使用logstash从弹性搜索中使用嵌套数据类型检索嵌套对象 复制该问题： 步骤1：- 我使用以下映射创建了以下索引 PUT test { "mappings": { "_doc": { "properties": { "comments": { "type": "nested" } } } } } 步骤2：- 在我创建的

elasticsearch 如何使用json过滤器将我的json日志文件存储到logstash

标签：elasticsearch Logstash filebeat

这是我的json日志文件。我正试图通过我的日志库将文件存储到我的弹性搜索中 { "id": "135569", "title" : "Star Trek Beyond", "year":2016 , "genre": ["Action", "Adventure", "Sci-Fi"] } 将数据存储到elasticSearch后，我的结果如下 { "_index": "filebeat-6.2.4-2018.11.09", "_type": "doc", "_id":

我有以下格式的日志文件要提取到弹性搜索中，但日志存储过滤的数据并没有推到弹性搜索中 同样的grok过滤配置，我可以从kibana开发工具获得它 示例日志文件： OCDE-2019-05-22 13:24:34.000错误org.ramyam.OCDE.task.NBALookupTask.checkResponsesToBeProcessed-checkResponsesToBeProcessed开始：Wed May 22 13:24:34 IST 2019 Filebeat配置： input

我正在尝试使用LogStash将一些表从MariaDB同步到ElasticSearch 我在Debian Buster 10服务器上 $ java -version openjdk version "11.0.4" 2019-07-16 OpenJDK Runtime Environment (build 11.0.4+11-post-Debian-1deb10u1) OpenJDK 64-Bit Server VM (build 11.0.4+11-post-Debian-1deb10u1,

elasticsearch 从Xpath创建嵌套字段&；检查现有文件

标签：elasticsearch Logstash

我有两个问题, 解析xml数据&将其添加到索引中记录的数组中 检查索引中的现有记录，如果存在，则将该记录的新数据添加到现有记录的数组中 我有一个jdbc输入，它有一个xml列 input { jdbc { .... statement => "SELECT event_xml.... } } 然后是一个xml过滤器来解析数据， 如何使最后3个XPath成为阵列？我需要变异过滤器还是ruby过滤器？我好像弄不明白 filter { xml {

目前，我正在尝试为此日志创建一个grok模式 2020-03-11 05:54:26,174 JMXINSTRUMENTS-Threading [{"timestamp":"1583906066","label":"Threading","ObjectName":"java.lang:type\u003dThreading","attributes":[{"name":"CurrentThreadUserTime","value":18600000000},{"name":"ThreadCoun

elasticsearch 日志存储异常：Errno:：EACCES正在读取csv文件

标签：elasticsearch Logstash logstash-configurationlogstash-file

我正在读取一个csv文件并将其索引到elastic中。 Logstash出现以下错误： [2020-03-15T14:43:02424][ERROR][logstash.javapipeline][main]插件出现不可恢复的错误。将重新启动此插件。 管道id：主管道 插件：“开始”，路径=>[“/Users/shivam/Documents/logstash_example/cars.csv”]，id=>“csv_elastic”，sincedb_路径=>“/dev/null”，enable_

正在将Quarkus日志文件导入elasticsearch。我的问题是试图处理logstash中的日志。。。如何使用grok筛选器获取traceId和spanId 下面是一个示例日志条目： 21:11:32 INFO traceId=50a4f8740c30b9ca, spanId=50a4f8740c30b9ca, sampled=true [or.se.po.re.EmployeeResource] (vert.x-eventloop-thread-1) getEmployee with

我正在使用Logstash输入将日志从CloudWatch流式传输到Elasticsearch 我有以下配置 input { cloudwatch_logs { log_group => ["/aws/lambda/a","/aws/lambda/b","/aws/lambda/c","/aws/lambda/d","/aws/lambda/e","/aws

我试图通过简单地执行文档中给出的命令来回显曾经键入的内容，从而使logstash安装工作正常 我的命令 C:\logstash-1.4.0\bin>logstash.bat agent -e 'input{stdin{}}output{stdout{}}' 错误呢 Error: Expected one of #, input, filter, output at line 1, column 1 (byte 1) aft er You may be interested in

elasticsearch 在kibana3中的字段中查询多个字符串？

标签：elasticsearch Logstash Kibana

我正在使用logstash1.4.1、elasticsearch 1.1.1、kibana3.1来分析我的日志。我在Kibana3中获得解析字段（来自日志） 现在，我经常在一个特定字段上查询许多字符串。例如：auth_message是一个字段，我可能需要查询20个不同的字符串（全部或单独） 如果在一起： auth_message: "login failed" OR "user XYZ" OR "authentication failure" OR ......... 如果有单独的疑问： au

我正在为来自我的Synology box的系统日志消息编写一个logstash grok过滤器。示例消息如下所示 Jun 3 09:39:29 diskstation Connection user:\tUser [user] logged in from [192.168.1.121] via [DSM]. 我很难过滤掉格式怪异的时间戳。有人能帮我一下吗？这就是我目前所拥有的 if [type] == "syslog" and [message] =~ "diskstation" {

elasticsearch 如何使用Kafka在logstash中保留更长时间的日志？

标签：elasticsearch Logstash Apache Kafka Kibana logstash-configuration

目前，我使用redis->s3->elastic search->kibana堆栈对日志进行管道化和可视化。但由于弹性搜索中有大量数据，我可以保留日志长达7天 我想将kafka集群放在这个堆栈中，并将日志保留更多天。我正在考虑下一个堆栈 应用程序节点将日志管道化到kafka->kafka集群->弹性搜索集群->kibana 如何使用kafka将日志保留更长的天数？查看Apache kafka，有两个属性决定何时删除日志。一个是时间，另一个是空间 log.retention.{ms,minutes

elasticsearch Logstash JDBC输入，过滤不同于@timestamp的事件时间戳

标签：elasticsearch Logstash elastic-stack

我正在尝试更改@时间戳以匹配我的时间戳，这是我的事件发生的时间，而不是logstash时间戳 这是我的conf文件 input { jdbc { jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysq

elasticsearch 如何在logstash中定义特定映射

标签：elasticsearch Logstash

我需要像这样解析我的数据 root:[group:[instance:[hourly:{},monthly:{},daily:{}]]] 如何定义映射以获取这样的数据？您能否共享要分析的示例日志行？您需要指定示例输入和输出。

我使用filebeat将日志数据流传输到logstash，但每当我向日志文件添加新行时，filebeat都会将整个数据发送到logstash。现在，如果新数据（增量数据）添加到我的日志文件中，我只希望数据流传输到日志存储。在filebeat.yml中是否有一些配置需要我处理。我当前的filebeat配置看起来像- filebeat: prospectors: - paths: - /Users/yogi/dev-tools/elastic_search/a

我已经在centos 7上设置了一个麋鹿堆栈，正在从运行bro的freebsd 11主机转发日志。但是，我的过滤器无法正确解析bro日志 这是当前设置： freebsd filebeat客户端 filebeat.yml filebeat: registry_file: /var/run/.filebeat prospectors: - paths: - /var/log/messages - /var/log/maillog - /var/log/auth.log

elasticsearch Filebeat复制事件

标签：elasticsearch Logstash elastic-stackfilebeat

我正在使用Filebeat>logstash>elasticsearch>kibana运行一个基本的麋鹿堆栈设置-所有这些都在5.2版上 当我删除Filebeat并将logstash配置为直接查看文件时，它会接收正确数量的事件 如果我删除数据并使用Filebeat重新摄取文件，以将相同的日志文件内容传递给logstash，那么创建的事件将增加10%以上。我已经检查了其中一些，以确认filebeat正在创建副本 有人看到过这个问题吗？或者有什么建议可以解释为什么会发生这种情况吗？我需要首先了解您删

我将设置自己的ELK服务器来集中日志记录。到目前为止还不错 我设置docker-compose.yml运行ELK堆栈，另一个docker-compose.yml运行filebeat，它将监视日志文件，添加env+标记并发送到logstash。应该在logstash中进行解析 filebeat.yml name: xyz fields: env: xyz output.logstash: hosts: ["xyz:5044"] filebeat.prospectors: - in

这是由python编写的日志生成的时间戳。 我试过了 SYSLOGTIMESTAMP，DATESTAMP_EVENTLOG，DATESTAMP_RFC2822，TIMESTAMP_ISO8601 还有更多。请任何人提供正确的grok格式。 如果不可能，我如何将其用作时间戳您可以尝试以下方法： [04-21 12:57:04] 或 你可以试试这些食物： [04-21 12:57:04] 或 这只是用这些值创建一个术语时间戳。我想替换kibanause日期过滤器的@timestamp字段，它是：

elasticsearch 尝试向Elasticsearch发送数据时，Logstash挂起

标签：elasticsearch Logstash

这是我在.config文件中为Logstash提供的输出： output { elasticsearch { document_type => "apache" }} 当输出设置为stdout{}时，它工作正常。 我在本地运行Elasticsearch，没有问题。 当我运行命令时： sudo./logstash-f sample_1.conf-debug Logstash就这么挂着。 这是我使用-debug在日志中得到的结果： 这些线只是一次又一次地无限期地重复。

我试图在Solaris10上运行基于Oracle JDK8版本的Logstash，但收到以下错误。我该怎么处理呢 此版本的JRuby是否不再支持Solaris warning: thread "[main]-pipeline-manager" terminated with exception (report_on_exception is true): NotImplementedError: block device detection unsupported or na