Apache spark 如何拦截流事件(相当于StreamingListener)?
目前,我们有在spark streaming上运行的代码,我们希望将其迁移到结构化流。据我所知,Apache spark 如何拦截流事件(相当于StreamingListener)?,apache-spark,spark-structured-streaming,Apache Spark,Spark Structured Streaming,目前,我们有在spark streaming上运行的代码,我们希望将其迁移到结构化流。据我所知,StreamingListener仅用于spark流媒体,当我使用结构化流媒体时,应该使用什么 等价物是。它记录在《官方编程指南》下 使用SparkSession.streams.attachListener()附加自定义StreamingQueryListener对象后,还可以通过附加StreamingQueryListener(…)异步监视与SparkSession关联的所有查询,当查询启动和停止
StreamingListener
仅用于spark流媒体,当我使用结构化流媒体时,应该使用什么 等价物是。它记录在《官方编程指南》下
使用SparkSession.streams.attachListener()
附加自定义StreamingQueryListener对象后,还可以通过附加StreamingQueryListener(…)异步监视与SparkSession关联的所有查询,当查询启动和停止时,以及在活动查询中取得进展时,您将收到回调。举个例子,
Scala和Java的官方API在上可用,但您可以在中找到Python中的使用示例。是不是
StreamingQueryListener
和StreamingListener
两种不同的API用于不同的用途?一个是全局的,另一个是特定于某个查询的?如果你这样说,我不确定哪一个会是哪个@MehdiLAMRANI。当然有两种不同的API——因为结构化流媒体模型,即使在批处理模式下,也与传统流媒体有很大的不同。这一切都取决于您试图实现的目标。我个人都使用这两种方法,显然我更喜欢最新的API,因为它显然更灵活