Scala spark streaming将在数据流上执行输出操作时

Scala spark streaming将在数据流上执行输出操作时,scala,apache-spark,spark-streaming,Scala,Apache Spark,Spark Streaming,我在看Spark流媒体编程指南。我有一个基本的疑问,比如,它何时执行/计算Dstream输出操作。 例如(我从一个例子中得到): 它将在每次批处理时执行操作,在此处保留1秒。或者等到终止 它会在每个批次执行此操作吗?请在此处保留1秒。或者等到终止 它将每隔1秒读取一个批,并每次运行整个图形。在Spark术语中,它被称为在每个间隔执行作业 只有当您选择停止流作业时,流作业才会终止。我们如何终止流作业。它是通过中断接收方线程实现的吗?要么通过调用RESTAPI,要么通过终止进程。 val ssc =

我在看Spark流媒体编程指南。我有一个基本的疑问,比如,它何时执行/计算
Dstream
输出操作。 例如(我从一个例子中得到):

它将在每次
批处理时执行操作,在此处保留
1秒。或者等到终止

它会在每个批次执行此操作吗?请在此处保留1秒。或者等到终止

它将每隔1秒读取一个批,并每次运行整个图形。在Spark术语中,它被称为在每个间隔执行作业


只有当您选择停止流作业时,流作业才会终止。

我们如何终止流作业。它是通过中断接收方线程实现的吗?要么通过调用RESTAPI,要么通过终止进程。
val ssc = new StreamingContext(conf, Seconds(1))
val lines = ssc.socketTextStream("localhost", 7777) 
lines.foreachRDD { rdd =>
  rdd.foreachPartition { partitionOfRecords =>
    val connection = createNewConnection()
    partitionOfRecords.foreach(record => connection.send(record))
    connection.close()
  }
}
// Start the computation
ssc.start()
// Wait for the computation to terminate
ssc.awaitTermination()