Apache spark 来自_json和spark中的as函数

Apache spark 来自_json和spark中的as函数,apache-spark,Apache Spark,我正在尝试运行“使用ApacheSpark进行流处理”一书第7章中的示例 代码发布在这里:在streaming_weblogs.snb.ipynb中 它没有进口货!没有.sbt文件!这就是为什么不可能运行beginer的代码 我对第二行有问题: val webLogSchema = Encoders.product[SchemaNasaWebLog].schema val jsonStream = stream.select(from_json($"value"), webL

我正在尝试运行“使用ApacheSpark进行流处理”一书第7章中的示例

代码发布在这里:在streaming_weblogs.snb.ipynb中

它没有进口货!没有.sbt文件!这就是为什么不可能运行beginer的代码

我对第二行有问题:

val webLogSchema = Encoders.product[SchemaNasaWebLog].schema
val jsonStream = stream.select(from_json($"value"), webLogSchema) as "record")
val webLogStream = jsonStream.select("record.*").as[SchemaNasaWebLog]
无法从_json解析重写的方法
无法将符号解析为

我刚才补充说:

    import sparkSession.implicits._
    import org.apache.spark.sql.functions._

但这还不够。

可能使用的方法签名是错误的

下面的参考说明了Spark笔记本中如何管理依赖项和包

这有一些使用spark流媒体笔记本的示例-

下面的文档展示了我们如何使用from_json解析复杂的json事件并从中创建数据帧


可能使用的方法签名是错误的

下面的参考说明了Spark笔记本中如何管理依赖项和包

这有一些使用spark流媒体笔记本的示例-

下面的文档展示了我们如何使用from_json解析复杂的json事件并从中创建数据帧