Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在Apahe Spark中对数据帧中的数据发出警报_Apache Spark_Apache Spark Sql_Spark Streaming_Alert - Fatal编程技术网

Apache spark 如何在Apahe Spark中对数据帧中的数据发出警报

Apache spark 如何在Apahe Spark中对数据帧中的数据发出警报,apache-spark,apache-spark-sql,spark-streaming,alert,Apache Spark,Apache Spark Sql,Spark Streaming,Alert,我有一个数据框,我刚刚对int类型的两列求和。asaddition 如果加法列的值超过3,我想发出警报 谢谢你下面是一个你可以做的例子。您可以对sumDF数据帧的警报列进行筛选或执行任何其他操作 val nums = Seq( (1, 2), (4, 4), (0, 3) ).toDF("col1", "col2") val sumDF = nums .withColumn("addition", nums("col1") + nums("col2"))

我有一个数据框,我刚刚对int类型的两列求和。asaddition 如果加法列的值超过3,我想发出警报


谢谢你

下面是一个你可以做的例子。您可以对sumDF数据帧的警报列进行筛选或执行任何其他操作

val nums = Seq(
    (1, 2),
    (4, 4),
    (0, 3)
  ).toDF("col1", "col2")

  val sumDF = nums
    .withColumn("addition", nums("col1") + nums("col2"))
  sumDF.show()

//  +----+----+--------+
//  |col1|col2|addition|
//  +----+----+--------+
//  |   1|   2|       3|
//  |   4|   4|       8|
//  |   0|   3|       3|
//  +----+----+--------+
  sumDF
    .withColumn("alert", sumDF("addition") > 3)
    .show()
//  +----+----+--------+-----+
//  |col1|col2|addition|alert|
//  +----+----+--------+-----+
//  |   1|   2|       3|false|
//  |   4|   4|       8| true|
//  |   0|   3|       3|false|
//  +----+----+--------+-----+

您能否提供更多数据详细信息以及您需要的警报类型。请举例说明。