Kafka：消费者崩溃

Question

我继承了我正在另一个项目中实现的一些 Kafka 代码，遇到了一个问题......在消费者收到来自生产者的 3995 条消息后，它崩溃并给出以下错误：

ERROR Error while accepting connection (kafka.network.Acceptor) 
java.io.IOException: Too many open files

Information about data being sent:
Very bursty around the time of crash
Always crashes at 3995

我在 Centos 虚拟机上运行它，我已经运行其他较小的数据集轻松地通过它。感谢您的宝贵时间！

Answer 1

"Too many open files" 能否在 linux 中输入 'lsof | wc -l' 以了解打开了多少文件。

按照guide增加打开的文件数：

已达到最大文件数，如何解决此问题？许多应用程序（例如 Oracle 数据库或 Apache Web 服务器）需要此范围相当高。因此，您可以通过在内核变量 /proc/sys/fs/file-max 中设置一个新值来增加打开文件的最大数量，如下所示（以根用户身份登录）：

sysctl -w fs.file-max=100000

Kafka：消费者崩溃

Kafka: Consumer Crashing

java

message-queue

apache-kafka