Log4J2 AsyncLogger 正在以高并发填满 LMAX disruptor 的环形缓冲区

Question

我在 Java 基于 Play Framework 的应用程序中使用 Log4J2 AsyncLogger。我看到在高并发性（每台服务器约 3000 个用户）下，环形缓冲区的剩余大小很快达到零，我的请求开始失败。我的环形缓冲区大小是 1048576 (512*2048)。应用程序线程数为 8（如 Play 官方文档中所述，每个内核 1 个线程。）我的问题是：

1> 如何提高消费者写入日志文件的速度？ 2> 我可以显式地使用多个消费者来写入我的日志文件吗？如果是这样，我应该在哪里指定这些消费者？

我已经包含了我的 log4j2.xml 文件。任何帮助将不胜感激:)

我尝试过的事情：

1> 增加环形缓冲区大小（始终为 2 的幂）。但是最终还是出现了同样的问题，使用过多的内存似乎也不是很优雅。这个选项将在生产中被击落。我错过了什么吗？

2> 尝试了不同的等待策略。运气不好。

<?xml version="1.0" encoding="UTF-8"?>

<Configuration>
<!--  status="trace" attribute for Configuration tag prints in logs [ Starting AsyncLoggerConfig disruptor for this configuration with ringbufferSize=262144] -->
<!-- default log file names in case it fails to read it from property file -->
<Properties>
    <Property name="FILE_NAME">/opt/lol/logs/meh.log</Property>
    <Property name="FILE_PATTERN">/opt/lol/logs/meh_%d{yyyy-MM-dd_HH}.log</Property>
</Properties>

<Appenders>
    <RollingRandomAccessFile name="ASYNCFILE" fileName="${sys:FILE_NAME}" filePattern="${sys:FILE_PATTERN}">
        <PatternLayout pattern="[meh:%d{yyyy-MM-dd HH:mm:ss},%d{SSS}] %-5level[%thread][%C{1}:%L] %msg%n"/>
        <Policies>
            <TimeBasedTriggeringPolicy />
        </Policies>
    </RollingRandomAccessFile>

    <Console name="CONSOLE" target="SYSTEM_OUT">
        <PatternLayout pattern="[meh:%d{yyyy-MM-dd HH:mm:ss},%d{SSS}] %-5level[%thread][%C{1}:%L] %msg%n"/>
    </Console>
</Appenders>

<Loggers>
    <logger name="akka" level="INFO" />
    <AsyncRoot level="INFO" includeLocation="true">
       <!-- <AppenderRef ref="CONSOLE"/>-->
        <AppenderRef ref="ASYNCFILE"/>
    </AsyncRoot>
</Loggers>
</Configuration>

我希望并发性至少达到每箱 4000 个（与没有记录器时相同）。但是我卡在2500左右

Answer 1

您可以通过不使用位置来提高速度：将 [%C{1}:%L] 简单地替换为 %c。 Log4j 2 performance documentation 显示日志记录位置慢 100 倍。
多个消费者不会加速日志记录。硬盘仍然是单一的最终消费者，并且有多个线程试图同时写入（使用锁定来防止数据损坏）实际上更慢。这就是干扰器按原样设计的原因。

Log4J2 AsyncLogger 正在以高并发填满 LMAX disruptor 的环形缓冲区

Log4J2 AsyncLogger is filling up LMAX disruptor's ring buffer at high concurrency

java

configuration

logging

playframework

log4j2