numLateRecordsDropped:对运营商意味着什么
numLateRecordsDropped: What does it mean for operators
这里有多个任务。其中一项任务是BookingInfoWithFraudAndDefaultAndMainSP -> TSAndWMBookingWithSPObjects
。让我们称之为 task-1
。在任务 1 中,我分配了一个时间戳并生成了水印,我使用 BoundedOutOfOrdernessTimestampExtractor
且 maxOutOfOrderness
等于 2 分钟。
下一个运算符是我 window 数据并在其上进行一些聚合然后下沉到 Kafka 的地方。让我们将此链式任务称为聚合和下沉,Task-2
。
numLateRecordsDropped
:查看这个告诉 The number of records this operator/task has dropped due to arriving late
的指标。
问题:当我 window 元素时,我已经分配了 0 允许迟到。所以它可能已经删除了一些元素。但是当我查看指标时,由于 window 不是运算符,因此没有指标可以说明 windows 删除了多少元素。
当我查看任务 2 指标时,它显示 numLateRecordsDropped
的计数。这是什么意思。 Window聚合任务怎么drop记录。或者因为它是聚合 windows,计数基本上是 windows 删除的记录数。
Window operator 是 Flink 唯一使用 numLateRecordsDropped
的地方(而且 window 聚合函数运行在 window operator 中),所以是的,计数是 window.
删除的记录数
这里有多个任务。其中一项任务是BookingInfoWithFraudAndDefaultAndMainSP -> TSAndWMBookingWithSPObjects
。让我们称之为 task-1
。在任务 1 中,我分配了一个时间戳并生成了水印,我使用 BoundedOutOfOrdernessTimestampExtractor
且 maxOutOfOrderness
等于 2 分钟。
下一个运算符是我 window 数据并在其上进行一些聚合然后下沉到 Kafka 的地方。让我们将此链式任务称为聚合和下沉,Task-2
。
numLateRecordsDropped
:查看这个告诉 The number of records this operator/task has dropped due to arriving late
的指标。
问题:当我 window 元素时,我已经分配了 0 允许迟到。所以它可能已经删除了一些元素。但是当我查看指标时,由于 window 不是运算符,因此没有指标可以说明 windows 删除了多少元素。
当我查看任务 2 指标时,它显示 numLateRecordsDropped
的计数。这是什么意思。 Window聚合任务怎么drop记录。或者因为它是聚合 windows,计数基本上是 windows 删除的记录数。
Window operator 是 Flink 唯一使用 numLateRecordsDropped
的地方(而且 window 聚合函数运行在 window operator 中),所以是的,计数是 window.