elasticsearch 日志存储管道不与csvfile一起工作,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat" /> elasticsearch 日志存储管道不与csvfile一起工作,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat" />

elasticsearch 日志存储管道不与csvfile一起工作

elasticsearch 日志存储管道不与csvfile一起工作,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat,像下面那样设置它 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb sudo dpkg -i logstash-6.6.2.deb sudo systemctl enable logstash.service sudo systemctl start logstash.service input { file { path => "/root/de

像下面那样设置它

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb
sudo dpkg -i logstash-6.6.2.deb
sudo systemctl enable logstash.service
sudo systemctl start logstash.service
input {
        file {
                path => "/root/dev/Intuseer-PaaS/backend/airound_sv_logs.log"
                start_position => "beginning"
        }
}
output {
        stdout {}
        file {
                path => "/root/dev/output/output-%{+YYYY-MM-dd}.log"
        }
}
我添加了一个管道脚本,如下所示

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb
sudo dpkg -i logstash-6.6.2.deb
sudo systemctl enable logstash.service
sudo systemctl start logstash.service
input {
        file {
                path => "/root/dev/Intuseer-PaaS/backend/airound_sv_logs.log"
                start_position => "beginning"
        }
}
output {
        stdout {}
        file {
                path => "/root/dev/output/output-%{+YYYY-MM-dd}.log"
        }
}
日志文件如下所示

timestamp, server_cpu, server_memory_used, server_memory_free, process_cpu, process_memory
1582787287, 1, 1176, 2759, 0, 9.05
1582787288, 1, 1176, 2759, 1, 8.97
1582787289, 2, 1176, 2759, 0, 9.04
1582787290, 1, 1177, 2758, 0, 8.98
1582787291, 0, 1176, 2759, 1, 9.04
1582787292, 1, 1176, 2759, 0, 8.96
1582787293, 1, 1177, 2758, 0, 9.03
1582787294, 1, 1176, 2759, 1, 9.08
1582787295, 0, 1177, 2758, 0, 9.02
1582787296, 1, 1176, 2759, 1, 9.05
我已经试了很多次在本地目录上获取此日志。我检查了logstash的状态。但它在下面没有变化。此外,未生成输出-%.log文件

$systemctl status logstash.service的结果

请帮帮我。非常感谢。
我正在尝试使用logstash 6.6.2。我

总之,一切都正常,但由于您在日志中没有看到任何内容,因此您认为它不正常。添加
--debug
确认一切正常

不过,有几点需要注意:

  • 不要忘记添加
    sincedb_path
    ,否则您将面临无法重复重新处理文件的风险
  • 尽量不要在/root中执行任何操作,因为运行Logstash的用户可能并不总是有权R/W该文件夹
  • 利用以解析行

    • 总之,一切正常,但由于您在日志中没有看到任何内容,因此您认为它不正常。添加
      --debug
      确认一切正常

      不过,有几点需要注意:

      • 不要忘记添加
        sincedb_path
        ,否则您将面临无法重复重新处理文件的风险
      • 尽量不要在/root中执行任何操作,因为运行Logstash的用户可能并不总是有权R/W该文件夹
      • 利用以解析行

      这个答案应该有帮助:(提示:您需要添加
      sincedb_路径设置)@Val谢谢您的回答。但是我已经试过像下面这样的输入{file{path=>“/root/dev/Intuseer PaaS/backend/airound_sv_logs.log”start_position=>“sincedb_path=>”/dev/null}}}output{stdout{file{path=>“/root/dev/output/output-%{+YYYY-MM-dd.log”}}但它没有更改。添加该设置后,您可以显示启动logstash时的日志吗?@Val当然可以。在启动[logstash.pipeline]后,启动管道{:pipeline_id=>main”,“pipeline.worker”=>2,“pipeline.batch.size”=>125,“pipeline.batch.delay”=>50}[logstash.pipepeline]管道成功启动{:pipeline_id=>main”,“线程=>”}[logstash.agent]管道运行{:count=>1,:运行的管道=>main],:non_running_pipelines=>[]}[filewatch.observingtail]START,creating Discoverer,Watch with file and sincedb collections[logstash.agent]成功启动了logstash API端点{:port=>9600}嗯,实际上,我不确定logstash是否可以在/root中读取或写入文件。您是否可以从命令行(而不是通过服务)运行logstash,如下所示:
      bin/logstash-f file.conf--debug
      这个答案应该会有帮助:(提示:您需要添加
      sincedb\u路径设置)@Val谢谢您的回答。但是我已经试过像下面这样的输入{file{path=>“/root/dev/Intuseer PaaS/backend/airound_sv_logs.log”start_position=>“sincedb_path=>”/dev/null}}}output{stdout{file{path=>“/root/dev/output/output-%{+YYYY-MM-dd.log”}}但它没有更改。添加该设置后,您可以显示启动logstash时的日志吗?@Val当然可以。在启动[logstash.pipeline]后,启动管道{:pipeline_id=>main”,“pipeline.worker”=>2,“pipeline.batch.size”=>125,“pipeline.batch.delay”=>50}[logstash.pipepeline]管道成功启动{:pipeline_id=>main”,“线程=>”}[logstash.agent]管道运行{:count=>1,:运行的管道=>main],:non_running_pipelines=>[]}[filewatch.observingtail]START,creating Discoverer,Watch with file and sincedb collections[logstash.agent]成功启动了logstash API端点{:port=>9600}嗯,实际上,我不确定logstash是否可以在/root中读取或写入文件。是否可以从命令行(而不是通过服务)运行logstash,如下所示:
      bin/logstash-f file.conf--debug