具有 JDBC 数据摄取率问题的 Logstash 6.8

Logstash 6.8 with JDBC data ingestion rate issue

如图所示,测试从 PG 中获取 log-stash JDBC 数据,随着时间的推移,每个数据块(每个 100K)花费的时间越来越长。有人可以解释为什么管道会这样吗?无论数据获取和页面大小如何,问题都是一样的。

根本原因是 PostGres,因为它带来初始行的速度比 table 中更高的行更快。 (大 tables )