Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/331.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java kafka与apachespark的集成_Java_Apache Spark_Apache Kafka - Fatal编程技术网

Java kafka与apachespark的集成

Java kafka与apachespark的集成,java,apache-spark,apache-kafka,Java,Apache Spark,Apache Kafka,我正在学习ApacheSpark与kafka的集成,这样每当kafka的主题中出现新消息时,我的代码就可以自动运行 我也读过官方文件 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然不知道它是如何工作的。我已经用java spark编写了字数计算程序,卡夫卡的另一面正在运行 结构化流媒体是kafka和spark java代码之间的桥梁吗?它是否一直在听卡夫卡的声音,并且每当

我正在学习ApacheSpark与kafka的集成,这样每当kafka的主题中出现新消息时,我的代码就可以自动运行

我也读过官方文件

https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html
但我仍然不知道它是如何工作的。我已经用java spark编写了字数计算程序,卡夫卡的另一面正在运行

结构化流媒体是kafka和spark java代码之间的桥梁吗?它是否一直在听卡夫卡的声音,并且每当消息到达时,它都会从卡夫卡中提取并传递给spark java代码。。?这是正确的吗

如果没有,有人能和我分享一下,它是如何工作的吗。。?如有其他参考,将不胜感激

我应该如何将java spark代码集成到Kafka中,以便在新消息到达Kafka时自动触发它


感谢Spark代表使用基本的Kafka消费者API,这些API在消息到达主题时分批轮询消息

结构化流媒体和常规Spark流媒体在这方面的工作相同


如果您有兴趣了解卡夫卡记录传递的工作原理,那么您可能需要从卡夫卡基本消费者或卡夫卡流开始,因为Spark可能有些过分,这取决于任务Spark委托给基本卡夫卡消费者API,后者在消息到达主题时批量轮询消息

结构化流媒体和常规Spark流媒体在这方面的工作相同


如果您有兴趣了解卡夫卡唱片交付的工作原理,您可能需要从卡夫卡基本消费品或卡夫卡流开始,因为Spark可能有些过火,具体取决于任务

这里是我以前老师的github提供的一个非常清晰的实践教程:(它很老了,所以它谈论的是核心流式API,而不是结构化流式API,但kafka/spark交互的概念是相同的)@EnzoBnl,感谢分享man..它是python..任何东西都是Java..?这是我以前老师的github提供的一个非常清晰的实践教程:(它非常古老,所以它谈论的是核心流式API,而不是结构化流式API,但kafka/spark交互的概念是相同的)@EnzoBnl,感谢分享man..它是python.有什么是Java的吗。。?