Apache spark 如何在Apahe Spark中对数据帧中的数据发出警报
我有一个数据框,我刚刚对int类型的两列求和。asaddition 如果加法列的值超过3,我想发出警报Apache spark 如何在Apahe Spark中对数据帧中的数据发出警报,apache-spark,apache-spark-sql,spark-streaming,alert,Apache Spark,Apache Spark Sql,Spark Streaming,Alert,我有一个数据框,我刚刚对int类型的两列求和。asaddition 如果加法列的值超过3,我想发出警报 谢谢你下面是一个你可以做的例子。您可以对sumDF数据帧的警报列进行筛选或执行任何其他操作 val nums = Seq( (1, 2), (4, 4), (0, 3) ).toDF("col1", "col2") val sumDF = nums .withColumn("addition", nums("col1") + nums("col2"))
谢谢你下面是一个你可以做的例子。您可以对sumDF数据帧的警报列进行筛选或执行任何其他操作
val nums = Seq(
(1, 2),
(4, 4),
(0, 3)
).toDF("col1", "col2")
val sumDF = nums
.withColumn("addition", nums("col1") + nums("col2"))
sumDF.show()
// +----+----+--------+
// |col1|col2|addition|
// +----+----+--------+
// | 1| 2| 3|
// | 4| 4| 8|
// | 0| 3| 3|
// +----+----+--------+
sumDF
.withColumn("alert", sumDF("addition") > 3)
.show()
// +----+----+--------+-----+
// |col1|col2|addition|alert|
// +----+----+--------+-----+
// | 1| 2| 3|false|
// | 4| 4| 8| true|
// | 0| 3| 3|false|
// +----+----+--------+-----+
您能否提供更多数据详细信息以及您需要的警报类型。请举例说明。