elasticsearch 我可以使用Logstash接收压缩数据吗？

我正在尝试将数据摄取到Elasticsearch

数据位于共享文件夹中。如果可能的话，我想在将zip文件接收到Elasticsearch后删除它

它是一个.zip文件，可解压缩为一个大文件，格式如下：

#ReferenceID    123das
#FamilyID       abc
#ArchiveDate    1483237892226   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is secret content of the document, and it is not encrypted. 
#EndDoc

#ReferenceID    123das/1  (The "/1" means 1st attachment)
#FamilyID       abc        
#ArchiveDate    1483237892227   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is the secret attachment content  
#EndDoc

#ReferenceID...
...
#EndDoc 

...multiple of these until End of File 

基本上每个

#ReferenceID... 
...
#EndDoc

表示要摄入Elasticsearch的文档

---

我的问题是，这可以用Logstash和Beats来完成吗？我该怎么做呢？欢迎使用任何指针。

Logstash的文件{}输入无法处理压缩文件。看

Filebeat也不能。。。然而你看，这似乎已经成功了

---

仅供参考，s3{}输入可以。

谢谢阿兰！我来看看s3