Fatal编程技术网
  • intellij-idea/
  • Intellij idea 在spark-1.0中实现kafka consumer

Intellij idea 在spark-1.0中实现kafka consumer

intellij-idea apache-spark apache-kafka

Intellij idea 在spark-1.0中实现kafka consumer,intellij-idea,apache-spark,apache-kafka,spark-streaming,Intellij Idea,Apache Spark,Apache Kafka,Spark Streaming,我需要在spark 1.0的spark streaming中实现kafka consumer。我写了一部卡夫卡的制片人。有谁能帮我写一个火花接收器来接收卡夫卡的信息吗？另外，我可以知道如何在Intellij IDEA中运行kafka spark streaming项目吗？spark streaming有自己的消费者 <dependency> <groupId>org.apache.spark</groupId> <artifactId&g

我需要在spark 1.0的spark streaming中实现kafka consumer。我写了一部卡夫卡的制片人。有谁能帮我写一个火花接收器来接收卡夫卡的信息吗？另外，我可以知道如何在Intellij IDEA中运行kafka spark streaming项目吗？

spark streaming有自己的消费者

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.0.2</version>
</dependency>


org.apache.spark
用于流式传输和用于的字数


在intellij中，只需导入spark streaming和spark streaming kafka模块，并编写一个简单的main，如示例所示
 Spark streaming有自己的消费者


<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.0.2</version>
</dependency>




org.apache.spark
用于流式传输和用于的字数


在intellij中，只需导入spark streaming和spark streaming kafka模块，并编写一个简单的main，如示例所示
 使用KafkaUtils.createStream（）


下面是API:
使用KafkaUtils.createStream（）

下面是API:

。。
此实用程序将帮助使用Spark从Kafka群集提取消息
流动。卡夫卡消费者是低级卡夫卡消费者(
简单消费者）和更好地处理卡夫卡偏移和
处理故障


根据

在下游故障（如火花机死机）时提供更好的重放控制



。。
此实用程序将帮助使用Spark从Kafka群集提取消息
流动。卡夫卡消费者是低级卡夫卡消费者(
简单消费者）和更好地处理卡夫卡偏移和
处理故障


根据

在下游故障（如火花机死机）时提供更好的重放控制