numLateRecordsDropped:对运营商意味着什么

numLateRecordsDropped: What does it mean for operators

这里有多个任务。其中一项任务是BookingInfoWithFraudAndDefaultAndMainSP -> TSAndWMBookingWithSPObjects。让我们称之为 task-1。在任务 1 中,我分配了一个时间戳并生成了水印,我使用 BoundedOutOfOrdernessTimestampExtractormaxOutOfOrderness 等于 2 分钟。

下一个运算符是我 window 数据并在其上进行一些聚合然后下沉到 Kafka 的地方。让我们将此链式任务称为聚合和下沉,Task-2

numLateRecordsDropped:查看这个告诉 The number of records this operator/task has dropped due to arriving late 的指标。

问题:当我 window 元素时,我已经分配了 0 允许迟到。所以它可能已经删除了一些元素。但是当我查看指标时,由于 window 不是运算符,因此没有指标可以说明 windows 删除了多少元素。

当我查看任务 2 指标时,它显示 numLateRecordsDropped 的计数。这是什么意思。 Window聚合任务怎么drop记录。或者因为它是聚合 windows,计数基本上是 windows 删除的记录数。

Window operator 是 Fl​​ink 唯一使用 numLateRecordsDropped 的地方(而且 window 聚合函数运行在 window operator 中),所以是的,计数是 window.

删除的记录数