使用python实现kafka和elasticsearch之间的连接

我对使用卡夫卡和elasticsearch很陌生。我一直在尝试使用弹性搜索，但我有一些问题。我成长为一个docker compose文件，其中包含构建环境所需的所有图像，然后使用kafka我将产品转换为特定主题数据，然后我需要将kafka的消费者数据转换为发布/订阅系统，以便将数据发送到elasticsearch中。 我使用python实现了所有这些。我已经看到，在端口和本地主机中，ip elasticsearch代替kibana出现在页面中，出现了以下句子： kibana服务器尚未就绪

消费者python与之类似，我从中获取主题数据：

from kafka import KafkaConsumer
# Import sys module
import sys

# Import json module to serialize data
import json

# Initialize consumer variable and set property for JSON decode
consumer = KafkaConsumer ('JSONtopic',bootstrap_servers = ['localhost:9092'],
value_deserializer=lambda m: json.loads(m.decode('utf-8')))
for message in consumer:
 print("Consumer records:\n")
 print(message)
 print("\nReading from JSON data\n")
 print("Name:",message[6]['name'])
 print("Email:",message[6]['email'])
 # Terminate the script
 sys.exit()

目标是使用elasticsearch进行分析，因此我需要将其用作后端，以便将数据可视化到kibana中。这可能是真的很感激也有一个教程，以了解我应该做什么链接这些信息遵循。

---

（P.s.数据从一个主题到另一个主题没有问题，但问题是将这些信息插入弹性体，并有可能将这些信息可视化）

如果您将数据从Kafka推送到弹性体搜索，那么使用消费者API通常不是一个好主意，因为有一些工具可以做得更好，处理更多的功能

例如：

---

• Kafka Connect（例如，我看过你的视频谢谢你的回答，我用不同的方法解决了我的问题，可能不是性能最好的方法。提前谢谢