NodeJS - 处理 100 多个并发连接的内存不足

Question

我正在开发一个 IoT 应用程序，客户端每 2 秒向服务器发送一次生物电势信息。客户端每 2 秒发送一个包含 400 行数据的 CSV 文件。我的服务器上有一个 Socket.IO websocket 服务器运行，它从每个客户端捕获此信息。捕获此信息后，服务器必须每 2 秒为每个客户端将这 400 条记录推送到 mysql 数据库中。虽然只要客户端数量很少，这种方法就可以很好地工作，但随着客户端数量的增加，服务器开始抛出 "Process out of memory exception."

以下是收到的异常：

<--- Last few GCs --->
   98522 ms: Mark-sweep 1397.1 (1457.9) -> 1397.1 (1457.9) MB, 1522.7 / 0 ms [allocation failure] [GC in old space requested].
  100059 ms: Mark-sweep 1397.1 (1457.9) -> 1397.0 (1457.9) MB, 1536.9 / 0 ms [allocation failure] [GC in old space requested].
  101579 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1519.9 / 0 ms [last resort gc].
  103097 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1517.9 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x35cc9bbb4629 <JS Object>
    2: format [/xxxx/node_modules/mysql/node_modules/sqlstring/lib/SqlString.js:~73] [pc=0x6991adfdf6f] (this=0x349863632099 <an Object with map 0x209c9c99fbd1>,sql=0x2dca2e10a4c9 <String[84]: Insert into rent_66 (sample_id,sample_time, data_1,data_2,data_3) values ? >,values=0x356da3596b9 <JS Array[1]>,stringifyObjects=0x35cc9bb04251 <false>,timeZone=0x303eff...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
Aborted

以下是我的服务器的代码：

var app = require('express')();
var http = require('http').Server(app);
var io = require('socket.io')(http);
var mysql = require('mysql');

var conn = mysql.createConnection({
    host: '<host>',
    user: '<user>',
    password: '<password>',
    database: '<db>',
    debug: false,
});

conn.connect();

io.on('connection', function (socket){
   console.log('connection');
var finalArray = []
   socket.on('data_to_save', function (from, msg) {
   var str_arr = msg.split("\n");
   var id = str_arr[1];
   var timestamp = str_arr[0];
   var data = str_arr.splice(2);
   finalArray = [];
   var dataPoint = [];
   data.forEach(function(value){
        dataPoint = value.split(",");
        if(dataPoint[0]!=''){
                finalArray.push([dataPoint[0],1,dataPoint[1],dataPoint[2],dataPoint[3]]);
                finalArray.push([dataPoint[0],1,dataPoint[4],dataPoint[5],dataPoint[5]]);
        }
   });
   var sql = "Insert into rent_"+id+" (sample_id,sample_time, channel_1,channel_2,channel_3) values ? ";
   var query = conn.query (sql, [finalArray],function(err,result){
       if(err)
           console.log(err);
        else
         console.log(result);
   });

   conn.commit();
   console.log('MSG  from ' +  str_arr[1] + ' ' + str_arr[0] );

});

});
http.listen(9000, function () {
  console.log('listening on *:9000');
});

我能够让服务器处理 100 个并发连接，之后我开始接收进程内存不足异常。在引入数据库插入之前，服务器只是将 csv 作为文件存储在磁盘上。通过该设置，服务器能够处理 1200 多个并发连接。

根据 Internet 上可用的信息，看起来数据库插入查询（异步的）将 400 行数组保存在内存中，直到插入完成。结果，随着客户端数量的增加，服务器的内存占用量增加，最终运行内存不足。

我确实参考了互联网上关于 --max_old_space_size 的许多建议，我不确定这是一个长期的解决方案。另外，我不确定我应该根据什么来决定这里应该提到的价值。

此外，我已经阅读了有关异步实用程序模块的建议。但是，串行插入数据可能会在客户端插入数据和服务器将数据保存到数据库之间引入巨大的延迟。

这个问题我绕了很多圈。有没有一种方法可以让服务器处理来自 1000 多个并发客户端的信息，并以最小的延迟将该数据保存到 Mysql 数据库中。我在这里遇到了障碍，非常感谢这方面的任何帮助。

Answer 1

我将总结我的评论，因为他们向您发送了正确的路径来解决您的问题。

首先，您必须确定问题是否由您的数据库引起。最简单的方法是注释掉数据库部分并查看可以扩展到多高。如果您在没有内存或 CPU 问题的情况下进入数千，那么您的重点可以转移到找出为什么将数据库代码添加到组合中会导致问题。

假设问题是由您的数据库引起的，那么您需要开始了解当有大量活动数据库请求时它是如何处理事情的。通常，对于繁忙的数据库，首先要使用的是 connection pooling。这为您提供了三个有助于扩大规模的主要因素。

它使您可以快速重用以前打开的连接，因此您不必让每个操作都创建自己的连接然后关闭它。
它允许您同时指定池中的最大并发数据库连接数（控制您对数据库的最大负载，也可能限制它将使用的最大内存量）。超出该限制的连接将排队（这通常是您在高负载情况下想要的，因此您不会压垮您拥有的资源）。
它可以更容易地查看您是否有连接泄漏问题，而不是仅仅在您运行耗尽某些资源之前泄漏连接，池将在测试中很快变空并且您的服务器将不会能够处理更多交易（因此您更有可能在测试中看到问题）。

然后，您可能还想查看数据库连接的事务时间，以了解它们处理任何给定事务的速度。您知道您要处理多少 transactions/sec，因此您需要查看您的数据库及其配置和资源分配方式（内存、CPU、磁盘速度等）是否能够跟上你想要投入的负荷。

Answer 2

您应该使用以下命令增加默认内存 (512MB)：

node --max-old-space-size=1024 index.js

这会将大小增加到 1GB。您可以使用此命令进一步增加默认内存。

NodeJS - 处理 100 多个并发连接的内存不足

NodeJS - Process out of memory for 100+ concurrent connections

mysql

concurrency

out-of-memory

node.js

socket.io