如何使用python将数据从Kafka发送到ElasticSearch
我正在使用Python语言。我有csv文件,我需要转换成json并发送到kafka,然后发送到ElasticSearch如何使用python将数据从Kafka发送到ElasticSearch,python,
elasticsearch,apache-kafka,kafka-consumer-api,Python,
elasticsearch,Apache Kafka,Kafka Consumer Api,我正在使用Python语言。我有csv文件,我需要转换成json并发送到kafka,然后发送到ElasticSearch 我能够将Csv转换为Json并发送给卡夫卡消费者。如何将数据从Kafka Consumer获取到ElasticSearch您不需要编写任何Python。Kafka本身提供了一个流式集成API,称为Kafka Connect。要使用它,只需使用JSON文件对其进行配置 使用将CSV文件摄取到Kafka中 正在使用的it示例: 将数据从卡夫卡主题流到Elasticsearc
我能够将Csv转换为Json并发送给卡夫卡消费者。如何将数据从Kafka Consumer获取到ElasticSearch您不需要编写任何Python。Kafka本身提供了一个流式集成API,称为Kafka Connect。要使用它,只需使用JSON文件对其进行配置
- 使用将CSV文件摄取到Kafka中
- 正在使用的it示例:
- 将数据从卡夫卡主题流到Elasticsearch
- 正在使用的it示例:
免责声明:我为Confluent工作,并撰写了上述文章。您可以使用Logstash和Kafka输入插件将数据发送到Elasticsearch。它易于配置和运行。
这可能会有帮助:如何下载kafka connect elasticsearch而不使用商业电子邮件id。我在一家公司工作,但无法提供,因为我是为自己而不是为公司学习。您不需要提供电子邮件id,或者如果需要,您可以使用一次性的(例如)。