Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark Stream从Jupyter笔记本运行时复制批处理_Scala_Apache Spark_Apache Kafka_Jupyter - Fatal编程技术网

Scala Spark Stream从Jupyter笔记本运行时复制批处理

Scala Spark Stream从Jupyter笔记本运行时复制批处理,scala,apache-spark,apache-kafka,jupyter,Scala,Apache Spark,Apache Kafka,Jupyter,我在Jupyter笔记本上运行spark stream,它接收来自卡夫卡的消息。当我第一次运行它时,一切正常,但是如果我第二次运行代码段,所有批都会在输出中复制,就好像有两个spark会话在工作一样。这很奇怪,因为我认为方法.getOrCreate()将继续现有会话,而不会创建新会话(如果已经有会话的话)。因此,如果我第三次运行该代码段,那么每批代码都会有三个副本,以此类推。。打印会话变量时,每次运行都会得到相同的会话名称(例如org.apache.spark.sql)。SparkSession

我在Jupyter笔记本上运行spark stream,它接收来自卡夫卡的消息。当我第一次运行它时,一切正常,但是如果我第二次运行代码段,所有批都会在输出中复制,就好像有两个spark会话在工作一样。这很奇怪,因为我认为方法.getOrCreate()将继续现有会话,而不会创建新会话(如果已经有会话的话)。因此,如果我第三次运行该代码段,那么每批代码都会有三个副本,以此类推。。打印会话变量时,每次运行都会得到相同的会话名称(例如org.apache.spark.sql)。SparkSession@6f5fbbad). 消除重复的唯一方法是重新启动内核。当我第一次运行它时,它就可以了。请告诉我如何在不重新启动内核的情况下摆脱重复的批处理