我如何确定 Bloomd 何时缩放布隆过滤器?

How can I determine when Bloomd will scale the bloom filter?

我正在使用 Bloomd 及其可扩展的布隆过滤器为我们的广泛爬虫 store/check 数十亿 urls。它在前 1-15 亿 urls 中运行良好,并且一直在使用大约 16 GB 的内存,但似乎很快就会添加超过 20 亿 urls,我会想了解 Bloomd 何时会尝试将过滤器扩展到 32 GB(我们会将服务器内存升级到 64 GB 或更多)。

"info" 命令提供了一些数据,但我不确定哪个键代表什么以及我如何才能理解在扩展之前我可以添加多少 url。

这是我的 "info" 命令结果

START
capacity 5461000000
checks 5893888032
check_hits 5400239954
check_misses 493648078
in_memory 1
page_ins 7
page_outs 6
probability 0.000100
sets 493648075
set_hits 493648016
set_misses 59
size 1859303638
storage 17205844037
END

此外,如果有人知道比使用可伸缩布隆过滤器更好的方法来处理这种大规模 URL 集合,我将不胜感激。

您的过滤器仅使用了其容量的 34% (size/capacity = 1859303638/5461000000)。