Csv Logstash不产生输出

Csv Logstash不产生输出,csv,logstash,elastic-stack,Csv,Logstash,Elastic Stack,我随后设置了麋鹿堆,最终我设法让所有的东西都能工作。然而,当我试图修改系统以读取CSV文件时,它完全停止了工作。conf文件如下所示: input { file { path => "/home/user/remaining/path/*.csv" type => "transaction" start_position => "beginning" } } filter { if [type] == "transaction" {

我随后设置了麋鹿堆,最终我设法让所有的东西都能工作。然而,当我试图修改系统以读取CSV文件时,它完全停止了工作。conf文件如下所示:

input {
  file {
    path => "/home/user/remaining/path/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

filter {
    if [type] == "transaction" {
      csv {
            columns => ["@timestamp", "ip address", "domain", "user", "demo", "id", "activity", "detail"]
            separator => ","
          }
    }

}

output {
    stdout {
        codec => rubydebug
    }
  elasticsearch {
    hosts => ["localhost:9200"]
    action => "index"    
    index => "logstash-test"
    workers => 1
  }
}
2016-02-29T22:26:39.319700,22.111.11.11,place.domain.ca,bob,DEMO,95081299250aa8,TI_START,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"
2016-02-29T22:27:00.098426,24.111.11.11,otherplace.domain.ca,bob,DEMO,390s8clearlyfake,TI_END,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"
我试着按照一些教程和指南来设置它,据我所知,logstash仍然连接到elasticsearch。我只是没有看到任何输出。我的怀疑是它根本没有读取文件。部分问题是我不确定如何测试logstash的每个组件。有什么我可能错过的吗

编辑: csv文件通常如下所示:

input {
  file {
    path => "/home/user/remaining/path/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

filter {
    if [type] == "transaction" {
      csv {
            columns => ["@timestamp", "ip address", "domain", "user", "demo", "id", "activity", "detail"]
            separator => ","
          }
    }

}

output {
    stdout {
        codec => rubydebug
    }
  elasticsearch {
    hosts => ["localhost:9200"]
    action => "index"    
    index => "logstash-test"
    workers => 1
  }
}
2016-02-29T22:26:39.319700,22.111.11.11,place.domain.ca,bob,DEMO,95081299250aa8,TI_START,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"
2016-02-29T22:27:00.098426,24.111.11.11,otherplace.domain.ca,bob,DEMO,390s8clearlyfake,TI_END,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"

我还注意到,当我转到localhost:9200/logstash test/时,我得到了一个404。我不确定这是因为没有数据传输,还是因为不同的连接问题。

作为此处讨论的一部分:

我的文件超过24小时,这是文件输入的默认过期时间。通过更改以下默认值为86400的ignore_older进行修复:

input {
  file {
    ignore_older => 864000
    path => "/home/sean/cost-logs/transaction/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

作为此处讨论的一部分:

我的文件超过24小时,这是文件输入的默认过期时间。通过更改以下默认值为86400的ignore_older进行修复:

input {
  file {
    ignore_older => 864000
    path => "/home/sean/cost-logs/transaction/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

如果有一个像~/.sincedb_389;这样的文件。。。。把它取下来再试一次。好主意,我试过了,但是运气不好。我能从创建的新文件中获得有用的信息吗?如果您提供csv文件中的几行代码,我可以尝试调试问题,如果是因为conf文件。谢谢,文件末尾有一个json文件,可能没有帮助,但据我所知,系统应该只添加第8列、第9列,等等。将其设置为完全自动化似乎没有帮助。在删除sincedb文件时,它似乎起作用。如果存在连接问题,stdout仍将打印,并且您将获得有关连接的错误。如果存在类似~/.sincedb_389;的文件,则可能会运行另一个日志存储进程。。。。把它取下来再试一次。好主意,我试过了,但是运气不好。我能从创建的新文件中获得有用的信息吗?如果您提供csv文件中的几行代码,我可以尝试调试问题,如果是因为conf文件。谢谢,文件末尾有一个json文件,可能没有帮助,但据我所知,系统应该只添加第8列、第9列,等等。将其设置为完全自动化似乎没有帮助。在删除sincedb文件时,它似乎起作用。如果存在连接问题,stdout仍将打印,并且您将获得有关连接的错误。是否可以运行另一个日志存储进程?