Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/opencv/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka Kafka项目在web服务器上分析HTTP请求的解决方案_Apache Kafka_Kafka Consumer Api_Kafka Producer Api_Apache Kafka Streams - Fatal编程技术网

Apache kafka Kafka项目在web服务器上分析HTTP请求的解决方案

Apache kafka Kafka项目在web服务器上分析HTTP请求的解决方案,apache-kafka,kafka-consumer-api,kafka-producer-api,apache-kafka-streams,Apache Kafka,Kafka Consumer Api,Kafka Producer Api,Apache Kafka Streams,背景: 每天接收数百万HTTP请求的Web服务器。属于 当然,必须有一个项目(名为handler)负责处理 这些请求并用一些信息响应它们 从服务器端看,我想使用Kafka从它们中提取一些信息,并实时(或每个时间间隔)进行分析 问题: 我如何将这些请求用作卡夫卡的制作人 如何建立卡夫卡的客户?(所有这些数据都需要分析然后返回,但卡夫卡“只是”一个信息系统) 一些想象: A1.1也许我可以让项目“处理程序”调用Kafka的jar,然后它可以触发生产者代码发送消息Kafka A1.2也许我可以创建另一

背景:

  • 每天接收数百万HTTP请求的Web服务器。属于 当然,必须有一个项目(名为handler)负责处理 这些请求并用一些信息响应它们
  • 从服务器端看,我想使用Kafka从它们中提取一些信息,并实时(或每个时间间隔)进行分析
  • 问题:

  • 我如何将这些请求用作卡夫卡的制作人
  • 如何建立卡夫卡的客户?(所有这些数据都需要分析然后返回,但卡夫卡“只是”一个信息系统)
  • 一些想象:

    A1.1也许我可以让项目“处理程序”调用Kafka的jar,然后它可以触发生产者代码发送消息Kafka

    A1.2也许我可以创建另一个项目来侦听服务器上的所有HTTP请求,但服务器上还有其他HTTP请求


    我试着想了很多解决方案,但我不太确定,我想问你们的人,你们是否已经知道一些成熟的想法,或者你们是否有一些想法来实现这个?

    你们可以使用elk。卡夫卡作为日志代理

    嘿,首先感谢你的回答,但我认为麋鹿+卡夫卡太大了,我对卡夫卡还不熟悉,也许我应该先用卡夫卡尝试一些简单的解决方案,然后我可以尝试使用其他技术来做更复杂的事情