elasticsearch 带有elasticsearch的日志存储同步数据库

我试图实现一些类似于它使用logstash

jdbc

输入和

elasticsearch

输出的东西

我可以通过简单的查询使其工作

但要正确准备（序列化）数据（使用多个连接等）以供输出变得越来越困难。
（当您有来自多个表的数据并且需要为ES正确格式化数据时，在sql查询中很难做到这一点）

我想知道我是否可以用python而不是sql来编程序列化部分

我可以通过定期运行芹菜任务来实现这一点。 在logstash中这样做是否可行，或者在logstash中这样做是否有任何好处

---

（一个是logstash跟踪

跟踪列

，但对于芹菜，我必须自己实现）

嗨，我正在对logstash执行相同的操作。。我的第一个问题：芹菜任务是什么意思？芹菜可以运行定期任务（例如，选择上次检查后修改的记录，并插入ES），就像logstash可以做的那样。（芹菜任务类似于logstash管道）我明白了。对于logstash，我真的不是一个粉丝。。你需要有一个相当灵活的索引（意味着映射设置为动态），我相信它与FileBeat结合使用时性能更好。在谷歌搜索之后，我发现它是一个作业队列。。回到您的问题：据我所知，Logstash可以将数据库列与ES字段匹配以迁移数据，但编写查询很棘手。建议使用过滤器（例如grok插件），让我知道你最终会做什么！