Apache spark 火花流每2小时熄灭一次
当我检查工作日志并发现以下错误时，Spark Streaming应用程序在没有任何日志的情况下每2小时被终止一次：Apache spark 火花流每2小时熄灭一次,apache-spark,spark-streaming,Apache Spark,Spark Streaming,当我检查工作日志并发现以下错误时，Spark Streaming应用程序在没有任何日志的情况下每2小时被终止一次： 14/11/15 13:53:24 INFO network.ConnectionManager: Removing ReceivingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863) 14/11/15 13:53:24 INFO network.ConnectionManager: Removing SendingConn
14/11/15 13:53:24 INFO network.ConnectionManager: Removing ReceivingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 INFO network.ConnectionManager: Removing SendingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 ERROR network.SendingConnection: Exception while reading SendingConnection to ConnectionManagerI
我还将spark.cleaner.ttl值设置为10分钟，但运气不佳。可能流接收器已停止。 在代码中是否使用类似的内容？ streamContext.stop（true，true）
如果流接收器已停止，并且您正在侦听接收器，则上下文也将停止。否我尚未调用停止方法