Apache spark 无法在HDFS中使用spark流存储数据

Apache spark 无法在HDFS中使用spark流存储数据,apache-spark,apache-kafka,hdfs,spark-streaming,rdd,Apache Spark,Apache Kafka,Hdfs,Spark Streaming,Rdd,我正在尝试使用java中的spark流将数据从kafka存储到hdfs。这是我的代码 JavaInputDStream<ConsumerRecord<String, String>> directKafkaStream = KafkaUtils.createDirectStream( ssc, LocationStrategies.PreferC

我正在尝试使用java中的spark流将数据从kafka存储到hdfs。这是我的代码

JavaInputDStream<ConsumerRecord<String, String>> directKafkaStream =
                KafkaUtils.createDirectStream(
                        ssc,
                        LocationStrategies.PreferConsistent(),
                        ConsumerStrategies.<String, String>Subscribe(topics, kafkaParams)
                );
directKafkaStream.foreachRDD(rdd -> {
            rdd.saveAsTextFile("hdfs://.../sampleTest.txt");
            rdd.foreach(record -> {
                System.out.println("Got the record : ");
            });
        });
        ssc.start();
        ssc.awaitTermination();
在消费者策略中,我订阅了主题列表和卡夫卡配置。但是当我使用kafka发送数据时,hdfs中没有生成任何文件。 此外,当我运行jar文件时,它显示sparkstreamingcontext已启动,但此后不会打印任何确认消息。
我在这里遗漏了什么,还是卡夫卡依赖不匹配的问题

您必须使用相同版本的spark dependencies。@ShankarKoirala您的意思是说spark streaming和spark-streaming-kafka-0-10应该是同一版本?是的,'spark streaming'和
spark-streaming-kafka-0-10
应相同version@ShankarKoirala我这样做了,但问题仍然存在。您能否确认您订阅的主题中是否包含消息?
  "org.apache.kafka" % "kafka-clients" % "0.8.2.0",
  "org.apache.spark" %% "spark-streaming" % "2.2.0",
  "org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.0.0",