elasticsearch Logstash/Elasticsearch慢CSV导入,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch Logstash/Elasticsearch慢CSV导入,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch Logstash/Elasticsearch慢CSV导入

elasticsearch Logstash/Elasticsearch慢CSV导入,elasticsearch,logstash,elasticsearch,Logstash,我正在我的桌面(ie 1节点)上测试ELK堆栈,我想首先拉一个平面文件,进行logstash解析并将其输出到Elasticsearch。设置很简单,但是处理平面文件的速度非常慢。平面文件以制表符分隔,大约有600万行和10个字段。我把刷新时间间隔、刷新大小和工作人员搞得一团糟,但我能得到的最多是每秒300个文档,这意味着5-6个小时。我很难相信那是对的 除此之外,logstash在579242个文档(大约一小时内)停止读取文件,但不会抛出错误。猜猜我做错了什么 如果相关的话,我的桌面设置为10g

我正在我的桌面(ie 1节点)上测试ELK堆栈,我想首先拉一个平面文件,进行logstash解析并将其输出到Elasticsearch。设置很简单,但是处理平面文件的速度非常慢。平面文件以制表符分隔,大约有600万行和10个字段。我把
刷新时间间隔
刷新大小
工作人员
搞得一团糟,但我能得到的最多是每秒300个文档,这意味着5-6个小时。我很难相信那是对的

除此之外,logstash在579242个文档(大约一小时内)停止读取文件,但不会抛出错误。猜猜我做错了什么


如果相关的话,我的桌面设置为10gb(ES的堆大小设置为4gb)和4个内核。

因此,索引或字段映射中似乎有什么东西在减缓这一速度。如果我拉出索引字段或映射模板(主要是指定整数、日期和未分析的字段),那么我开始每秒加载4-6k个文档。