Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/angular/31.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 使用Spark streaming将Kafka Avro序列化数据存储到拼花地板文件_Apache Kafka_Spark Streaming_Parquet - Fatal编程技术网
Fatal编程技术网
  • apache-kafka/
  • Apache kafka 使用Spark streaming将Kafka Avro序列化数据存储到拼花地板文件

Apache kafka 使用Spark streaming将Kafka Avro序列化数据存储到拼花地板文件

apache-kafka

Apache kafka 使用Spark streaming将Kafka Avro序列化数据存储到拼花地板文件,apache-kafka,spark-streaming,parquet,Apache Kafka,Spark Streaming,Parquet,我正在创建卡夫卡和火花流媒体管道。在这里，数据使用avro GenericRecord和Kafka模式注册表进行avro序列化，然后存储在Kafka主题中。Spark streaming用于阅读卡夫卡主题。我的需求是使用JavaAPI以附加方式将spark流输出存储到拼花地板文件中。请让我知道合适的方法

我正在创建卡夫卡和火花流媒体管道。在这里，数据使用avro GenericRecord和Kafka模式注册表进行avro序列化，然后存储在Kafka主题中。Spark streaming用于阅读卡夫卡主题。我的需求是使用JavaAPI以附加方式将spark流输出存储到拼花地板文件中。请让我知道合适的方法