Scala 如何使用kafka读取CSV文件？

我想用kafka在spark上传输CSV文件

所有文件都由另一个服务保存在hdfs上，我想使用kafka读取所有文件。类似于spark streaming的功能：

 val event1 = spark
   .readStream
   .schema(test_raw)
   .option("newFilesOnly", "true")
   .option("header", "true") 
   .option("sep", ",") 
   .csv(stream_path)

---

您正在寻找的连接器可能是这样的：

您可以使用Spark读取CSV，然后使用它执行任何操作。卡夫卡是一个消息代理。它用于发布/订阅、背压和其他通信目的。卡夫卡没有“CSV读取”功能。谢谢您提供的信息，但是如果您尝试从

event1.writeStream.format（“卡夫卡”）

开始，卡夫卡的CSV连接器会怎么样？