elasticsearch,logstash,streamsets,Oracle,elasticsearch,Logstash,Streamsets" /> elasticsearch,logstash,streamsets,Oracle,elasticsearch,Logstash,Streamsets" />

如何从oracle到Elasticsearch实时接收数据

如何从oracle到Elasticsearch实时接收数据,oracle,elasticsearch,logstash,streamsets,Oracle,elasticsearch,Logstash,Streamsets,我在scala中使用一个循环,每10秒钟查询一个Oracle表,因为Oracle表不断地被插入。我创建了一个select请求,然后创建了n个json字符串,其中包含来自oracle的n行,并将其推入Elasticsearch。之后,我创建了一个删除请求,以从Oracle表中删除插入ES的n行。我发展了一种完全是初学者的方法。因此,您能否为我推荐一种更好的方法,将实时或微批量数据从Oracle加载到ES,并从Oracle中删除。我听说了logstach或Sreamset。你知道吗?谢谢您对当前的方

我在scala中使用一个循环,每10秒钟查询一个Oracle表,因为Oracle表不断地被插入。我创建了一个select请求,然后创建了n个json字符串,其中包含来自oracle的n行,并将其推入Elasticsearch。之后,我创建了一个删除请求,以从Oracle表中删除插入ES的n行。我发展了一种完全是初学者的方法。因此,您能否为我推荐一种更好的方法,将实时或微批量数据从Oracle加载到ES,并从Oracle中删除。我听说了logstach或Sreamset。你知道吗?谢谢

您对当前的方法有什么问题吗?我会建议一个模式,你1。标记要选择的记录(带有更新);2.选择已标记的记录(选择);3、删除已标记的记录。这样,您就不会意外删除已加载的内容。什么加载Oracle表?它可以直接加载Elasticsearch吗?您对当前的方法有什么问题吗?我会建议一个模式,你1。标记要选择的记录(带有更新);2.选择已标记的记录(选择);3、删除已标记的记录。这样,您就不会意外删除已加载的内容。什么加载Oracle表?它可以直接加载Elasticsearch吗?