将csv导入elasticsearch
我正在做“弹性搜索入门”教程。不幸的是,本教程没有介绍将将csv导入elasticsearch,csv,
elasticsearch,import,logstash,Csv,
elasticsearch,Import,Logstash,我正在做“弹性搜索入门”教程。不幸的是,本教程没有介绍将csv数据库导入elasticsearch的第一步 我在谷歌上搜索找到了解决方案,但不幸的是,它并没有奏效。以下是我想要实现的目标和我所拥有的: 我有一个包含要导入的数据的文件(简化) 我想使用logstash导入它。通过互联网进行研究后,我最终得到以下配置: input { file { path => ["simpsons_episodes.csv"] start_position =>
csv
数据库导入elasticsearch的第一步
我在谷歌上搜索找到了解决方案,但不幸的是,它并没有奏效。以下是我想要实现的目标和我所拥有的:
我有一个包含要导入的数据的文件(简化)
我想使用logstash
导入它。通过互联网进行研究后,我最终得到以下配置:
input {
file {
path => ["simpsons_episodes.csv"]
start_position => "beginning"
}
}
filter {
csv {
columns => [
"id",
"title"
]
}
}
output {
stdout { codec => rubydebug }
elasticsearch {
action => "index"
hosts => ["127.0.0.1:9200"]
index => "simpsons"
document_type => "episode"
workers => 1
}
}
我在指定文档类型时遇到问题,因此一旦导入数据并导航到第10集,我希望看到结果。干得好,你就快到了,你只缺少了文档ID。你需要修改你的
elasticsearch
输出,如下所示:
elasticsearch {
action => "index"
hosts => ["127.0.0.1:9200"]
index => "simpsons"
document_type => "episode"
document_id => "%{id}" <---- add this line
workers => 1
}
我是我写ESL就是为了解决这个问题。
您可以使用pip下载:
pip install elasticsearch-loader
然后,您可以通过发布以下命令将csv文件加载到elasticsearch中:
elasticsearch_loader --index incidents --type incident csv file1.csv
此外,您可以通过向命令行添加有意义的
--id field=document\u id
来使用自定义id文件。抱歉,还有一个问题。。。我执行的命令是logstash.bat-f'../simpsons\u scents.conf'
CMD的结果如下:它似乎还没有工作。你认为我必须先创建索引吗?它在windows cmd上不起作用,但在git bash上起作用。非常感谢。很酷,很高兴它有帮助!如何在windows上使用logtash!我用这个插件导入了一个CSV,但是我看不到我导入的数据。。我不知道怎么了。导入时记录在终端上的数据,但之后我无法使用索引找到它
pip install elasticsearch-loader
elasticsearch_loader --index incidents --type incident csv file1.csv