Linux 上的 Logstash 文件输入延迟
Logstash File Input Latency on Linux
Logstash 是 运行。
从向日志文件中添加一行到 Logstash 识别新行并开始转换并输出需要多长时间。
通过一个简单的 BASH 脚本,我测量了 99 毫秒到 800 毫秒的时间,包括转换。很明显,延迟取决于 Logstash 转换、HD、OS 和 CPU。但是Logstash如何识别文件变化呢?有内部定时器吗?从文件中提取 logstash?
Logstash 的 file input polls the files being watched at the interval set in the stat_interval
parameter,目前 (Logstash 1.5) 默认为 1,即每秒。
换句话说,假设
- Logstash 不会落后于读取由特定文件输入监控的任何日志文件,并且
- Logstash 进程不是 CPU-starved(它通常以优先级 19 运行,因此 CPU 其他进程的大量使用可能会导致调度延迟),
新事件平均会在 500 毫秒内被拾取,最坏情况下会在 1000 毫秒内被拾取。
Logstash 是 运行。
从向日志文件中添加一行到 Logstash 识别新行并开始转换并输出需要多长时间。
通过一个简单的 BASH 脚本,我测量了 99 毫秒到 800 毫秒的时间,包括转换。很明显,延迟取决于 Logstash 转换、HD、OS 和 CPU。但是Logstash如何识别文件变化呢?有内部定时器吗?从文件中提取 logstash?
Logstash 的 file input polls the files being watched at the interval set in the stat_interval
parameter,目前 (Logstash 1.5) 默认为 1,即每秒。
换句话说,假设
- Logstash 不会落后于读取由特定文件输入监控的任何日志文件,并且
- Logstash 进程不是 CPU-starved(它通常以优先级 19 运行,因此 CPU 其他进程的大量使用可能会导致调度延迟),
新事件平均会在 500 毫秒内被拾取,最坏情况下会在 1000 毫秒内被拾取。