Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jquery/86.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用python将数据从Kafka发送到ElasticSearch_Python_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Apache Kafka_Kafka Consumer Api - Fatal编程技术网 elasticsearch,apache-kafka,kafka-consumer-api,Python,elasticsearch,Apache Kafka,Kafka Consumer Api" /> elasticsearch,apache-kafka,kafka-consumer-api,Python,elasticsearch,Apache Kafka,Kafka Consumer Api" />

如何使用python将数据从Kafka发送到ElasticSearch

如何使用python将数据从Kafka发送到ElasticSearch,python,elasticsearch,apache-kafka,kafka-consumer-api,Python,elasticsearch,Apache Kafka,Kafka Consumer Api,我正在使用Python语言。我有csv文件,我需要转换成json并发送到kafka,然后发送到ElasticSearch 我能够将Csv转换为Json并发送给卡夫卡消费者。如何将数据从Kafka Consumer获取到ElasticSearch您不需要编写任何Python。Kafka本身提供了一个流式集成API,称为Kafka Connect。要使用它,只需使用JSON文件对其进行配置 使用将CSV文件摄取到Kafka中 正在使用的it示例: 将数据从卡夫卡主题流到Elasticsearc

我正在使用Python语言。我有csv文件,我需要转换成json并发送到kafka,然后发送到ElasticSearch


我能够将Csv转换为Json并发送给卡夫卡消费者。如何将数据从Kafka Consumer获取到ElasticSearch

您不需要编写任何Python。Kafka本身提供了一个流式集成API,称为Kafka Connect。要使用它,只需使用JSON文件对其进行配置

  • 使用将CSV文件摄取到Kafka中
    • 正在使用的it示例:
  • 将数据从卡夫卡主题流到Elasticsearch
    • 正在使用的it示例:

免责声明:我为Confluent工作,并撰写了上述文章。

您可以使用Logstash和Kafka输入插件将数据发送到Elasticsearch。它易于配置和运行。

这可能会有帮助:如何下载kafka connect elasticsearch而不使用商业电子邮件id。我在一家公司工作,但无法提供,因为我是为自己而不是为公司学习。您不需要提供电子邮件id,或者如果需要,您可以使用一次性的(例如)。