如何为自定义日志记录解决方案正确创建性能测试？

Question

在工作中，我主动从头开始创建一个日志库，用于内部服务和项目。

迄今为止，我已经创建了一个概念验证，其中包含一个自定义 class extends PatternLayout 并混淆了输出日志条目中的某些字段。

现在的主要任务是断言性能是可以接受的，我的解决方案可以处理数百万个日志条目而不会丢失消息。

我决定为我的自定义 logback、默认 logback 布局和 Log4j2 编写性能测试，以便比较输出结果。我已经使用 jmh.

进行了单元测试

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <appender name="FILE_APPLY_RULES" class="ch.qos.logback.core.FileAppender">
        <file>logs\log.txt</file>
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="com.ingenico.epayments.logging.rule.LoggingRulesApplicator">
                <pattern>%msg%n</pattern>
                <applyRules>true</applyRules>
                <loggingRules>src/test/resources/logging-rules.json</loggingRules>
            </layout>
        </encoder>
    </appender>

    <appender name="ASYNC_FILE_APPLY_RULES" class="ch.qos.logback.classic.AsyncAppender">
        <discardingThreshold>0</discardingThreshold>
        <appender-ref ref="FILE_APPLY_RULES" />
        <queueSize>256</queueSize>
        <includeCallerData>false</includeCallerData>
        <neverBlock>true</neverBlock>
    </appender>

    <root level="INFO">
        <appender-ref ref="ASYNC_FILE_APPLY_RULES" />
    </root>

</configuration>

@Slf4j
public class LogbackTest {

    @Test
    public void launchBenchmark() throws RunnerException {
        Options opt = new OptionsBuilder()
                .include(this.getClass().getName() + ".*")
                .timeUnit(TimeUnit.MICROSECONDS)
                .warmupTime(TimeValue.seconds(1))
                .warmupIterations(2)
                .measurementTime(TimeValue.seconds(1))
                .measurementIterations(2)
                .threads(2)
                .forks(1)
                .shouldFailOnError(true)
                .shouldDoGC(true)
                .addProfiler(StackProfiler.class)
                .addProfiler(HotspotRuntimeProfiler.class)
                .build();
        new Runner(opt).run();
    }

    @BenchmarkMode(Mode.All)
    @Measurement(iterations = 200, time = 200, timeUnit = MILLISECONDS)
    @Benchmark
    public void logBenchmark() {
        log.info("{\"id\":\"12345\",\"cardData\":{\"bar\":\"bar\",\"foo\":\"foo\",\"number\":\"number\"}}");
    }

}

测试是运行并且在输出中，我看到了很多结果数字，但我不知道应该比较哪些值以及我如何断言如果我有良好的性能结果它不是因为消息已被丢弃？

能否请您告诉我如何准备有效的性能测试？

Answer 1

您有一个异步 AsyncAppender appender，它可能会丢弃队列中的消息。同时，JMH 基准测试期望 @Benchmark 注释方法中的代码同步执行以计算需要多长时间。这行不通。

IMO 你试图一次测试太多东西，例如整个 Logback 堆栈。如果您开发了自定义布局 class LoggingRulesApplicator，请先为此 class.

编写一个 JMH 基准

看看existing log4j2 JMH benchmarks。通过使用您可能也应该拥有的 NOOP appender 简化了那里的设置。

如何为自定义日志记录解决方案正确创建性能测试？

How to correctly create performance tests for a custom logging solution?

java

benchmarking

logging

performance-testing

jmh