Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 带换行符的Spark流式读取列_Apache Spark_Apache Kafka_Spark Streaming - Fatal编程技术网

Apache spark 带换行符的Spark流式读取列

Apache spark 带换行符的Spark流式读取列,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我在读卡夫卡通过火花流传来的一句话 传入记录有4列,其中一列有换行符,其中包含双引号 范例 a ,b , "hi how are you fine ",d 所以,在通过spark流媒体从kafka读取时,如何读取或需要设置哪些选项,以便正确读取记录?如果您正确地将数据发送到kafka,则在使用spark流媒体传输记录时,dstrean应该如下所示 a,b,“你好吗”,d 现在,您可以使用逗号拆分记录,并将值映射到pojo类,以创建具有四列的dataframe/dataset

我在读卡夫卡通过火花流传来的一句话 传入记录有4列,其中一列有换行符,其中包含双引号

范例

a ,b , "hi
how are you
fine
",d

所以,在通过spark流媒体从kafka读取时,如何读取或需要设置哪些选项,以便正确读取记录?

如果您正确地将数据发送到kafka,则在使用spark流媒体传输记录时,dstrean应该如下所示

a,b,“你好吗”,d

现在,您可以使用逗号拆分记录,并将值映射到pojo类,以创建具有四列的dataframe/dataset