Apache spark Spark from_avro函数,支持模式注册表
我正试图使用合流模式reigstry,并使用来自_avro的sparksApache spark Spark from_avro函数,支持模式注册表,apache-spark,confluent-schema-registry,spark-avro,Apache Spark,Confluent Schema Registry,Spark Avro,我正试图使用合流模式reigstry,并使用来自_avro的sparks函数 我有以下几种进口产品: "io.confluent" % "kafka-schema-registry-client" % "5.4.1", "io.confluent" % "kafka-avro-serializer" % "5.4.1", "org.apache.spark" %% "spark-avro" % "2.4.5", 但是,我只看到下面的方法签名可用 import org.apache.spark.
函数
我有以下几种进口产品:
"io.confluent" % "kafka-schema-registry-client" % "5.4.1",
"io.confluent" % "kafka-avro-serializer" % "5.4.1",
"org.apache.spark" %% "spark-avro" % "2.4.5",
但是,我只看到下面的方法签名可用
import org.apache.spark.sql.avro._
from_avro(data: Column, jsonFormatSchema : String)
而不是我期望的模式注册表支持
from_avro($"value", "topic-value", schemaRegistryAddr)
我错过什么了吗?我知道2.4.5
是spark avro
的最新稳定版本,但它似乎不支持中提到的相同签名。欢迎输入。以下功能目前在spark 2.4.5
中不可用
from_avro($"value", "topic-value", schemaRegistryAddr)
它仅在Databricks环境或Databricks笔记本中可用。以下功能目前在
spark 2.4.5
中不可用
from_avro($"value", "topic-value", schemaRegistryAddr)
它仅在Databricks环境或Databricks笔记本中可用。为什么在Databricks之外不可用?为什么在Databricks之外不可用?