elasticsearch 在Kibana中连接表,elasticsearch,logstash,kibana-4,elasticsearch,Logstash,Kibana 4" /> elasticsearch 在Kibana中连接表,elasticsearch,logstash,kibana-4,elasticsearch,Logstash,Kibana 4" />

elasticsearch 在Kibana中连接表

elasticsearch 在Kibana中连接表,elasticsearch,logstash,kibana-4,elasticsearch,Logstash,Kibana 4,假设我有一个关于某个部门员工的大型数据库(表a),除了许多其他字段外,还包括员工姓名。现在在不同的数据库(或不同的表,比如表b)中,我只有两个条目;员工姓名和ID。但此表(b)不仅包含一个部门的条目,还包含整个公司的条目。这两个表的原始格式都是文本文件,所以我用logstash将它们解析为Elasticsearch,然后用Kibana将结果可视化 现在,在我从Kibana的表(a)中创建了几个可视化后,x轴显示了员工的姓名,我意识到如果我们使用员工ID就好了。因为我知道我在表(b)中有这些信息,

假设我有一个关于某个部门员工的大型数据库(表a),除了许多其他字段外,还包括员工姓名。现在在不同的数据库(或不同的表,比如表b)中,我只有两个条目;员工姓名和ID。但此表(b)不仅包含一个部门的条目,还包含整个公司的条目。这两个表的原始格式都是文本文件,所以我用logstash将它们解析为Elasticsearch,然后用Kibana将结果可视化

现在,在我从Kibana的表(a)中创建了几个可视化后,x轴显示了员工的姓名,我意识到如果我们使用员工ID就好了。因为我知道我在表(b)中有这些信息,所以我搜索某种方法来告诉Kibana将从表(a)生成的图中的员工姓名转换为基于表(b)的员工ID。我的问题如下:

1) 有没有办法直接在Kibana做到这一点?如果是,如果每个表都保存在单独的索引中,我们可以这样做吗?还是必须将它们都保存在同一个idnex中

2) 如果无法在Kibana中直接执行此操作,并且在索引数据时必须执行此操作,是否仍有方法使用logstash分别解析这两个文本文件

我知道Elasticsearch是一个非关系型数据库,因此不是为类似SQL的功能(连接)而设计的。但是,应该有一个等效的或解决方法。这只是一个简单的用例,但当然一般的问题是如何关联来自不同来源的数据。否则Elasticsearch就真的没有那么强大了。

已经和了

基本上答案是——不,你不能在Kibana中进行连接,你必须在索引时进行连接。空间很便宜,elasticsearch可以很好地处理重复数据,所以只需创建需要在索引时显示的任何字段。

已经和


基本上答案是——不,你不能在Kibana中进行连接,你必须在索引时进行连接。空间很便宜,elasticsearch可以很好地处理重复数据,所以只需创建任何需要在索引时显示的字段。

您可能想试试。

您可能想试试。

很遗憾,我知道答案是,要么编写自己的插件,要么像我们不得不做的那样,降级至ES 2.4.1并安装Kibi
()
然后安装kibi连接插件
()

这将允许您从关系数据库获取所需的联接

不幸的是,据我所知,答案是要么编写自己的插件,要么像我们不得不做的那样,降级到ES 2.4.1并安装Kibi
()
然后安装kibi连接插件
()

这将允许您从关系数据库获取所需的联接

好的,答案是2。但是,我如何在logstash中执行此操作?我在文档中看到了一些示例,例如,可以根据父子关系来执行此操作,但必须手动定义哪个子对象属于哪个父对象,因此这不是真正的连接!当然,我不能手动上传我的数据,因为我们谈论的是数以百万计的recordsOk,所以答案是第二。但是,我如何在logstash中执行此操作?我在文档中看到了一些示例,例如,可以根据父子关系来执行此操作,但必须手动定义哪个子对象属于哪个父对象,因此这不是真正的连接!当然,我不能手动上传数据,因为我们谈论的是数百万条记录