Logstash以Elasticsearch批量API数据格式输出事件

Logstash以Elasticsearch批量API数据格式输出事件,logstash,Logstash,是否可以使用Logstash以Elasticsearch批量API数据格式输出事件 其思想是在许多机器上执行一些繁重的解析(不直接连接到ES节点),然后手动将数据输入ES 谢谢你的帮助 Logstash是一种单行类型的系统,而批量格式是一种多行格式。这里有两个想法: 1) 查看文件{}输出消息_格式是否可以包含换行符。这将允许您先输出元数据行,然后输出数据行 2) 使用logstash的克隆{}创建每个事件的副本。在“original”事件中,使用带有消息_格式的文件{}输出,该格式类似于批量输

是否可以使用Logstash以Elasticsearch批量API数据格式输出事件

其思想是在许多机器上执行一些繁重的解析(不直接连接到ES节点),然后手动将数据输入ES


谢谢你的帮助

Logstash是一种单行类型的系统,而批量格式是一种多行格式。这里有两个想法:

1) 查看文件{}输出消息_格式是否可以包含换行符。这将允许您先输出元数据行,然后输出数据行


2) 使用logstash的克隆{}创建每个事件的副本。在“original”事件中,使用带有消息_格式的文件{}输出,该格式类似于批量输出的第一行(索引、类型、id)。在克隆副本中,默认文件{}输出可能有效(或使用消息格式与所需的精确格式)。

如果需要使用您的值更改Logstash中的
刷新大小,则可能:

或者使用json编解码器在文件中发送元数据,并直接在elasticsearch上进行后加载

感谢您的澄清和建议。我想logstash不直接支持这个功能,我需要解决这个问题。“flush_size”用于直接为Elasticsearch提供数据。至于
文件
模块,您需要进行一些操作以获得所需的批量API格式-“如何操作”是我想知道的。