Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何拦截流事件(相当于StreamingListener)?_Apache Spark_Spark Structured Streaming - Fatal编程技术网

Apache spark 如何拦截流事件(相当于StreamingListener)?

Apache spark 如何拦截流事件(相当于StreamingListener)?,apache-spark,spark-structured-streaming,Apache Spark,Spark Structured Streaming,目前,我们有在spark streaming上运行的代码,我们希望将其迁移到结构化流。据我所知,StreamingListener仅用于spark流媒体,当我使用结构化流媒体时,应该使用什么 等价物是。它记录在《官方编程指南》下 使用SparkSession.streams.attachListener()附加自定义StreamingQueryListener对象后,还可以通过附加StreamingQueryListener(…)异步监视与SparkSession关联的所有查询,当查询启动和停止

目前,我们有在spark streaming上运行的代码,我们希望将其迁移到结构化流。据我所知,
StreamingListener
仅用于spark流媒体,当我使用结构化流媒体时,应该使用什么

等价物是。它记录在《官方编程指南》下

使用
SparkSession.streams.attachListener()
附加自定义StreamingQueryListener对象后,还可以通过附加StreamingQueryListener(…)异步监视与SparkSession关联的所有查询,当查询启动和停止时,以及在活动查询中取得进展时,您将收到回调。举个例子,


Scala和Java的官方API在上可用,但您可以在中找到Python中的使用示例。

是不是
StreamingQueryListener
StreamingListener
两种不同的API用于不同的用途?一个是全局的,另一个是特定于某个查询的?如果你这样说,我不确定哪一个会是哪个@MehdiLAMRANI。当然有两种不同的API——因为结构化流媒体模型,即使在批处理模式下,也与传统流媒体有很大的不同。这一切都取决于您试图实现的目标。我个人都使用这两种方法,显然我更喜欢最新的API,因为它显然更灵活