如何在 Apache Spark 中对数据框中的数据发出警报
how to rise an alert over a data in dataframe in Apahe Spark
我有一个数据框，我刚刚在两列（int 类型的列）上做了 "sum" .as("addition)
如果超过 "Addition" 列的值（大于 3）
，我想发出警报
谢谢
以下是您可以如何操作的示例。您可以对 sumDF DataFrame 的 alert 列进行过滤（或执行任何其他操作）。
val nums = Seq(
(1, 2),
(4, 4),
(0, 3)
).toDF("col1", "col2")
val sumDF = nums
.withColumn("addition", nums("col1") + nums("col2"))
sumDF.show()
// +----+----+--------+
// |col1|col2|addition|
// +----+----+--------+
// | 1| 2| 3|
// | 4| 4| 8|
// | 0| 3| 3|
// +----+----+--------+
sumDF
.withColumn("alert", sumDF("addition") > 3)
.show()
// +----+----+--------+-----+
// |col1|col2|addition|alert|
// +----+----+--------+-----+
// | 1| 2| 3|false|
// | 4| 4| 8| true|
// | 0| 3| 3|false|
// +----+----+--------+-----+
我有一个数据框，我刚刚在两列（int 类型的列）上做了 "sum" .as("addition) 如果超过 "Addition" 列的值（大于 3）
，我想发出警报谢谢
以下是您可以如何操作的示例。您可以对 sumDF DataFrame 的 alert 列进行过滤（或执行任何其他操作）。
val nums = Seq(
(1, 2),
(4, 4),
(0, 3)
).toDF("col1", "col2")
val sumDF = nums
.withColumn("addition", nums("col1") + nums("col2"))
sumDF.show()
// +----+----+--------+
// |col1|col2|addition|
// +----+----+--------+
// | 1| 2| 3|
// | 4| 4| 8|
// | 0| 3| 3|
// +----+----+--------+
sumDF
.withColumn("alert", sumDF("addition") > 3)
.show()
// +----+----+--------+-----+
// |col1|col2|addition|alert|
// +----+----+--------+-----+
// | 1| 2| 3|false|
// | 4| 4| 8| true|
// | 0| 3| 3|false|
// +----+----+--------+-----+