Apache spark 无法在Spark中查看来自Kafka流的消息

我刚刚开始使用

Pyspark

库测试

Kafka流到
Spark

我一直在Jupyter笔记本电脑上运行整个设置。
我正在尝试从推特流媒体
获取数据

推特流代码：

火花流代码

打印输出：

时间：2017-09-30 11:21:00

时间：2017-09-30 11:21:10

时间：2017-09-30 11:21:20
我做错了哪一部分？
您可以使用以下两个步骤调试应用程序

1） 使用像KafkaWordCount这样的示例消费者来测试是否有数据（Kafka主题是否有消息）

Kafka附带了一个命令行客户端，该客户端将从文件或标准输入获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送

运行producer，然后在控制台中键入一些消息以发送到服务器

     kafka-console-producer.sh \
    --broker-list <brokeer list> \
    --topic <topic name> \
    --property parse.key=true \
    --property key.separator=, \
    --new-producer  

若你们看到打印信息，那个么你们有卡夫卡的信息，若并没有，那个么你们的制作人就不能工作

2） 打开日志记录

  Logger.getLogger("org").setLevel(Level.WARNING);
  Logger.getLogger("akka").setLevel(Level.WARNING);       
  Logger.getLogger("kafka").setLevel(Level.WARNING);

您可以使用以下两个步骤调试应用程序

1） 使用像KafkaWordCount这样的示例消费者来测试是否有数据（Kafka主题是否有消息）

Kafka附带了一个命令行客户端，该客户端将从文件或标准输入获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送

运行producer，然后在控制台中键入一些消息以发送到服务器

     kafka-console-producer.sh \
    --broker-list <brokeer list> \
    --topic <topic name> \
    --property parse.key=true \
    --property key.separator=, \
    --new-producer  

若你们看到打印信息，那个么你们有卡夫卡的信息，若并没有，那个么你们的制作人就不能工作

2） 打开日志记录

  Logger.getLogger("org").setLevel(Level.WARNING);
  Logger.getLogger("akka").setLevel(Level.WARNING);       
  Logger.getLogger("kafka").setLevel(Level.WARNING);

您还可以使用一些GUI工具，如Kafdrop。它在调试卡夫卡消息时非常方便。您不仅可以查看消息队列，还可以查看分区及其偏移量等

这是一个很好的工具，您应该能够轻松地部署它

下面是链接：
您还可以使用一些GUI工具，如Kafdrop。它在调试卡夫卡消息时非常方便。您不仅可以查看消息队列，还可以查看分区及其偏移量等

这是一个很好的工具，您应该能够轻松地部署它

这里是链接：
好的，我会试试这个，但是我使用
createDirectStream
完成了这个工作，我不知道但是完全相同的设置是如何工作的，只需要使用
directStream
@NikhilParmar:me。我不知道为什么它与
directStream
一起工作，但是消费者在使用
createDirectStream
时没有收到任何消息。我使用Spark 2.4.5。有人知道吗？好的，我会试试这个，但我是用
createDirectStream
完成的，我不知道如何使用
directStream
@NikhilParmar:我也是。我不知道为什么它与
directStream
一起工作，但是消费者在使用
createDirectStream
时没有收到任何消息。我使用Spark 2.4.5。有人知道吗？你能解决这个错误吗？我也面临同样的问题。你能帮我吗？你能解决这个错误吗？我也面临同样的问题。你能帮帮我吗？
  Logger.getLogger("org").setLevel(Level.WARNING);
  Logger.getLogger("akka").setLevel(Level.WARNING);       
  Logger.getLogger("kafka").setLevel(Level.WARNING);