elasticsearch 将图像/二进制数据与文本日志一起存储

在继续之前，我想强调的是，我对伐木行业非常陌生，所以请随意批评我的管道的任何部分

我有一个系统，它将日志写入一个文本文件，比如“machine.logs”，其中machine.log中的每一行都是一个具有各种属性的json对象。日志文件的内容可以如下所示

{"id": 1, "created": "10-06-26 02:31:29,573", "process":2341, "message":"event 1 happened", "data":[]}
{"id": 2, "created": "10-06-26 02:32:29,573", "process":2341, "message":"event 2 happened", "data":["/data/dataset1/img1.jpg", "/data/dataset1/img2.jpg"]}
{"id": 3, "created": "10-06-26 02:33:29,573", "process":2341, "message":"event 3 happened", "data":[]}
.
.

系统将数千条记录写入此日志文件，并且系统每天至少运行8个小时，这8个小时称为工作状态，因此我们可以假设每天大约有10k条记录

除此文本日志文件外，系统还生成约2-3千兆字节的图像，这些图像在

machine.log

文件中引用

我的系统只能在未处于工作状态时访问internet

系统配置：

Ubuntu 16.0

32 GB内存

RTX 2060

核心i7

互联网100 mbs下载/40 mbs上传

我的不可转让要求：

将

machine.log的所有内容存储到云

将所有图像上载到云

监控

machine.log

，一旦系统具有可用的internet，立即将新的日志行上载到CAN

监控在

数据

文件夹中创建的任何新图像，并在互联网可用时立即上载它们

将日志中的图像引用更新到云中图像的位置

我的可协商要求：

能够从多个

machine.log

文件中读取数据

能够存储

.hdf5

文件以及

图像

文件

能够从rdbms数据库中读取数据和文件

能够分析或/和可视化日志文件中的数据

我的问题是:

使用麋鹿堆栈存储日志有意义吗？如果是这样的话，我不明白我怎么能 我在弹性搜索中存储图像/二进制数据

是否有任何解决方案可以解决非文本数据的日志记录问题

关于如何解决记录这些数据的问题的一些建议

我理解如果我需要的信息不足，我自己无法判断这个问题需要什么信息。请随时询问更多细节或澄清，我会尽力回答

超级感谢，提前

阿桑