Json 将卡夫卡消息发布到弹性搜索

我有一个从Kafka编写JSON数据对象的过程，并通过弹性API将该对象中的一些字段放入弹性搜索索引

我必须编写两条单独的消息——一条用于数据对象，另一条用于作为数据对象子集的弹性搜索索引

我的问题是： 我是否可以扩展JSON元模型，以便只发布Kafka中的一种记录格式，其中包含完整数据对象和可索引字段，但只有可索引字段加载到弹性搜索中？然后我不必维护两个单独的进程并保持它们的同步，我只需要一个进程和JSON记录

我不是批量加载，所以我不能像这样使用这个工具使用的批量加载API和“索引”字段标记

---

如何利用Logstash来使用卡夫卡主题，只将部分字段发送给ES？自己编写一个应用程序并没有什么大的价值。首先，尝试找到一个更优雅的可重复解决方案，理想地增强JSON元模型本身，以实现未来的可重用性。有可能吗？不确定您的具体用例，但您在Logstash过滤器中拥有巨大的自由度，可以根据自己的需要对数据进行处理和扩充。只是从A获取数据并将其发送到B应该留给适合该工作的现有工具，而不是另一个需要长期维护的本地应用程序。使用中的JSON方案非常复杂，因此我们受到ES的约束，必须首先在ES中创建模式。这意味着我们不能使用logstash，因为我们必须先在ES中创建模式。使用logstash不会阻止您这样做。仍然可以使用索引模板。如何利用Logstash来使用卡夫卡主题，并且只将部分字段发送给ES？自己编写一个应用程序并没有什么大的价值。首先，尝试找到一个更优雅的可重复解决方案，理想地增强JSON元模型本身，以实现未来的可重用性。有可能吗？不确定您的具体用例，但您在Logstash过滤器中拥有巨大的自由度，可以根据自己的需要对数据进行处理和扩充。只是从A获取数据并将其发送到B应该留给适合该工作的现有工具，而不是另一个需要长期维护的本地应用程序。使用中的JSON方案非常复杂，因此我们受到ES的约束，必须首先在ES中创建模式。这意味着我们不能使用logstash，因为我们必须先在ES中创建模式。使用logstash不会阻止您这样做。仍然可以使用索引模板。