elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化
我正在尝试将以下csv格式的数据导入elasticsearch 下面是我的elasticsearch 尝试将csv数据导入elasticsearch,然后在Kibana中将其可视化,elasticsearch,logstash,elasticsearch,Logstash,我正在尝试将以下csv格式的数据导入elasticsearch 下面是我的SampleCSV.csv文件 Date,Amount,Type,Db/Cr,Desc 4/1/2015,10773,Car M&F,Db,Insurance 4/1/2015,900,Supporting Item,Db,Wifi Router 4/1/2015,1000,Car M&F,Db,Fuel 4/1/2015,500,Car M&F,Db,Stepni Tyre Tube 4/
SampleCSV.csv
文件
Date,Amount,Type,Db/Cr,Desc
4/1/2015,10773,Car M&F,Db,Insurance
4/1/2015,900,Supporting Item,Db,Wifi Router
4/1/2015,1000,Car M&F,Db,Fuel
4/1/2015,500,Car M&F,Db,Stepni Tyre Tube
4/1/2015,770,FI,Db,FI
4/1/2015,65,FI,Db,Milk
我使用的配置如下:
input {
stdin {
type => "sample"
}
file {
path => "C:/Users/Deepak/Desktop/SampleCSV.csv"
start_position => "beginning"
} }
filter {
csv {
columns => ["Date","Amount","Type","Db/Cr","Desc"]
separator => ","
}
}
elasticsearch {
action => "index"
host => "localhost"
index => "sample"
workers => 1
}
stdout {
debug=>true
}
}
我在执行命令
C:\MyDrive\Apps\logstash-2.0.0\bin>logstash agent -f C:\MyDrive\Apps\logstash-2.
0.0\bin\MyLogsConfig.conf
io/console not supported; tty will not be manipulated
Default settings used: Filter workers: 2
Logstash startup completed
现在我的问题是,当我在kibana中查找与“样本”相关的索引时,我根本没有得到任何数据。它看起来没有数据导入到弹性搜索中,因此kibana没有得到任何东西
你知道原因吗???有几件事需要考虑。您可以将问题分为两部分:
- 首先,您要确保logstash按照预期的方式拾取文件内容。为此,您可以删除/注释elasticsearch输出。重新启动logstash并向SampleCSV.csv文件中添加一行新数据(不要忘记新行末尾的newcline/CR,否则将无法提取)。如果logstash拾取新行,它应该出现在控制台输出中(因为您添加了stdout输出过滤器)。不要忘记,文件输入会记住上次从日志文件读取的位置,并继续从该位置读取(它将此索引存储在名为since_db的特殊文件中)。start_position=>“start”仅在您第一次启动logstash时有效,在后续运行中,它将开始从上次结束的位置读取,这意味着您不会在控制台中看到任何新行,除非您a.)向文件添加新行或b.)手动删除自_db文件(sincedb_path=>null在windows下不起作用,至少在我上次尝试时是这样)
- 一旦你开始工作,你就可以开始查看elasticsearch/kibana方面的内容。在查看配置时,我建议你坚持默认的索引名模式(logstash XXX,其中XXX类似于创建日期,注意:不要在索引名中使用大写字母,否则elasticsearch将拒绝你的数据)。您应该使用默认模式,因为asfaik特殊日志存储索引映射(例如,原始字段,…)仅为该名称模式注册。如果更改,您也必须更改映射
麋鹿堆栈在开始时有点混乱,但是如果您还有任何问题,请不要犹豫。如果您在
文件
输入配置中添加sincedb_path=>null
,会发生什么情况?谢谢Markus,我将尝试这些,并尽快通知您