Apache spark 如何使用模式将dataframe转换为avro？_Apache Spark_Apache Spark Sql_Avro_Spark Avro

Apache spark 如何使用模式将dataframe转换为avro？

apache-spark

Apache spark 如何使用模式将dataframe转换为avro？,apache-spark,apache-spark-sql,avro,spark-avro,Apache Spark,Apache Spark Sql,Avro,Spark Avro,如何使用用户指定的模式将数据帧转换为Avro格式？您应该使用允许从Spark SQL读取和写入Avro数据的模块 import org.apache.avro.Schema import org.apache.spark.sql.SparkSession val schema = new Schema.Parser().parse(new File("user.avsc")) val spark = SparkSession.builder().master("local").getOrCre

如何使用用户指定的模式将数据帧转换为Avro格式？

您应该使用允许从Spark SQL读取和写入Avro数据的模块

import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession

val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
  .read
  .format("com.databricks.spark.avro")
  .option("avroSchema", schema.toString)
  .load("src/test/resources/episodes.avro")