Apache spark 带换行符的Spark流式读取列
我在读卡夫卡通过火花流传来的一句话 传入记录有4列,其中一列有换行符,其中包含双引号 范例Apache spark 带换行符的Spark流式读取列,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我在读卡夫卡通过火花流传来的一句话 传入记录有4列,其中一列有换行符,其中包含双引号 范例 a ,b , "hi how are you fine ",d 所以,在通过spark流媒体从kafka读取时,如何读取或需要设置哪些选项,以便正确读取记录?如果您正确地将数据发送到kafka,则在使用spark流媒体传输记录时,dstrean应该如下所示 a,b,“你好吗”,d 现在,您可以使用逗号拆分记录,并将值映射到pojo类,以创建具有四列的dataframe/dataset
a ,b , "hi
how are you
fine
",d
所以,在通过spark流媒体从kafka读取时,如何读取或需要设置哪些选项,以便正确读取记录?如果您正确地将数据发送到kafka,则在使用spark流媒体传输记录时,dstrean应该如下所示 a,b,“你好吗”,d 现在,您可以使用逗号拆分记录,并将值映射到pojo类,以创建具有四列的dataframe/dataset