Apache spark spark流媒体延迟的电子邮件警报
我们有spark作业将数据从Kafka加载到hive数据库。有时,我们的流媒体作业获取太多数据或被挂起,导致流媒体直播延迟。 我们可以在Spark UI中看到队列中的活动进程和挂起进程 我希望整合这些信息,并在任何延迟情况下发送电子邮件警报Apache spark spark流媒体延迟的电子邮件警报,apache-spark,notifications,Apache Spark,Notifications,我们有spark作业将数据从Kafka加载到hive数据库。有时,我们的流媒体作业获取太多数据或被挂起,导致流媒体直播延迟。 我们可以在Spark UI中看到队列中的活动进程和挂起进程 我希望整合这些信息,并在任何延迟情况下发送电子邮件警报 谢谢您可以使用下面的GitHub软件包发送Spark电子邮件警报 通常,您编写一个单独的计划作业,检查数据存在或挂起的任务,并发出警报。Spark作业只处理它看到的东西,不知道它的延迟
谢谢您可以使用下面的GitHub软件包发送Spark电子邮件警报
通常,您编写一个单独的计划作业,检查数据存在或挂起的任务,并发出警报。Spark作业只处理它看到的东西,不知道它的延迟