Fatal编程技术网
  • scala/
  • Scala 在运行时从流上下文修改RDD流定义

Scala 在运行时从流上下文修改RDD流定义

scala apache-spark

Scala 在运行时从流上下文修改RDD流定义,scala,apache-spark,spark-streaming,rdd,Scala,Apache Spark,Spark Streaming,Rdd,例如，我有一个来自流媒体上下文的on RDD，我在其上执行映射，过滤和计数，并让我的系统运行一段时间 基于某些输入，我想在运行时完全修改此处理，例如map，map，flatMap 在初始处理流已具体化并正在运行后，如何在运行时替换整个处理流？ 我是否需要停止上下文并重新启动它，或者是否有其他运行时选项

例如，我有一个来自流媒体上下文的on RDD，我在其上执行
映射
，
过滤
和
计数
，并让我的系统运行一段时间

基于某些输入，我想在运行时完全修改此处理，例如
map
，
map
，
flatMap

在初始处理流已具体化并正在运行后，如何在运行时替换整个处理流？
我是否需要停止上下文并重新启动它，或者是否有其他运行时选项