elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化

elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化,elasticsearch,logstash,elasticsearch,Logstash,我正在尝试将以下csv格式的数据导入elasticsearch 下面是我的SampleCSV.csv文件 Date,Amount,Type,Db/Cr,Desc 4/1/2015,10773,Car M&F,Db,Insurance 4/1/2015,900,Supporting Item,Db,Wifi Router 4/1/2015,1000,Car M&F,Db,Fuel 4/1/2015,500,Car M&F,Db,Stepni Tyre Tube 4/

我正在尝试将以下csv格式的数据导入elasticsearch

下面是我的
SampleCSV.csv
文件

Date,Amount,Type,Db/Cr,Desc
4/1/2015,10773,Car M&F,Db,Insurance 
4/1/2015,900,Supporting Item,Db,Wifi Router 
4/1/2015,1000,Car M&F,Db,Fuel 
4/1/2015,500,Car M&F,Db,Stepni Tyre Tube 
4/1/2015,770,FI,Db,FI 
4/1/2015,65,FI,Db,Milk 
我使用的配置如下:

input { 

stdin {
type => "sample"
}
file {
        path => "C:/Users/Deepak/Desktop/SampleCSV.csv"
        start_position => "beginning"
    } }
filter {
  csv {
    columns => ["Date","Amount","Type","Db/Cr","Desc"]
separator => ","
  }
}
elasticsearch {
        action => "index"
        host => "localhost"
        index => "sample"
        workers => 1
    }
  stdout {
debug=>true
}
}
我在执行命令

C:\MyDrive\Apps\logstash-2.0.0\bin>logstash agent -f C:\MyDrive\Apps\logstash-2.
0.0\bin\MyLogsConfig.conf
io/console not supported; tty will not be manipulated
Default settings used: Filter workers: 2
Logstash startup completed
现在我的问题是,当我在kibana中查找与“样本”相关的索引时,我根本没有得到任何数据。它看起来没有数据导入到弹性搜索中,因此kibana没有得到任何东西


你知道原因吗???

有几件事需要考虑。您可以将问题分为两部分:

  • 首先,您要确保logstash按照预期的方式拾取文件内容。为此,您可以删除/注释elasticsearch输出。重新启动logstash并向SampleCSV.csv文件中添加一行新数据(不要忘记新行末尾的newcline/CR,否则将无法提取)。如果logstash拾取新行,它应该出现在控制台输出中(因为您添加了stdout输出过滤器)。不要忘记,文件输入会记住上次从日志文件读取的位置,并继续从该位置读取(它将此索引存储在名为since_db的特殊文件中)。start_position=>“start”仅在您第一次启动logstash时有效,在后续运行中,它将开始从上次结束的位置读取,这意味着您不会在控制台中看到任何新行,除非您a.)向文件添加新行或b.)手动删除自_db文件(sincedb_path=>null在windows下不起作用,至少在我上次尝试时是这样)

  • 一旦你开始工作,你就可以开始查看elasticsearch/kibana方面的内容。在查看配置时,我建议你坚持默认的索引名模式(logstash XXX,其中XXX类似于创建日期,注意:不要在索引名中使用大写字母,否则elasticsearch将拒绝你的数据)。您应该使用默认模式,因为asfaik特殊日志存储索引映射(例如,原始字段,…)仅为该名称模式注册。如果更改,您也必须更改映射


麋鹿堆栈在开始时有点混乱,但是如果您还有任何问题,请不要犹豫。如果您在
文件
输入配置中添加
sincedb_path=>null
,会发生什么情况?谢谢Markus,我将尝试这些,并尽快通知您