检测 2 个属性的重复项:nifi

Detect duplicates on 2 attributes: nifi

我正在尝试使用 NIFI 根据流文件的 2 个属性检测重复项,这样每秒不应该有任何重复行,其 2 个特定属性值相同。在 DetectDuplicate 处理器中,以下是我的处理器的条目:

CacheEntryIdentifier : ${attribute1_name}::${attribute2_name}

Age of Duration : 1 sec

Distributed Chache Service : DistributedMapCacheClientService

仍然,我得到重复的行,这两个属性的每秒值是相同的。 非常感谢您的帮助。谢谢。

1 秒的 "Age Off Duration" 意味着与至少一秒前到达的 CacheEntryIndentifier 值重复的值不会被视为重复值。 属性 用于让条目 "expire",一些用户将其设置为 24 小时以便第二天,相同的值可以再次显示为 "not previously seen"。如果您想始终保持 "seen" 值,请将 "Age Off Duration" 留空。