Apache spark 来自_json和spark中的as函数
我正在尝试运行“使用ApacheSpark进行流处理”一书第7章中的示例 代码发布在这里:在streaming_weblogs.snb.ipynb中 它没有进口货!没有.sbt文件!这就是为什么不可能运行beginer的代码 我对第二行有问题:Apache spark 来自_json和spark中的as函数,apache-spark,Apache Spark,我正在尝试运行“使用ApacheSpark进行流处理”一书第7章中的示例 代码发布在这里:在streaming_weblogs.snb.ipynb中 它没有进口货!没有.sbt文件!这就是为什么不可能运行beginer的代码 我对第二行有问题: val webLogSchema = Encoders.product[SchemaNasaWebLog].schema val jsonStream = stream.select(from_json($"value"), webL
val webLogSchema = Encoders.product[SchemaNasaWebLog].schema
val jsonStream = stream.select(from_json($"value"), webLogSchema) as "record")
val webLogStream = jsonStream.select("record.*").as[SchemaNasaWebLog]
无法从_json解析重写的方法无法将符号解析为 我刚才补充说:
import sparkSession.implicits._
import org.apache.spark.sql.functions._
但这还不够。可能使用的方法签名是错误的 下面的参考说明了Spark笔记本中如何管理依赖项和包 这有一些使用spark流媒体笔记本的示例- 下面的文档展示了我们如何使用from_json解析复杂的json事件并从中创建数据帧
可能使用的方法签名是错误的 下面的参考说明了Spark笔记本中如何管理依赖项和包 这有一些使用spark流媒体笔记本的示例- 下面的文档展示了我们如何使用from_json解析复杂的json事件并从中创建数据帧