NodeJS：无效的数组长度分配失败 - JavaScript 堆内存不足

Question

我正在尝试从文件中导出数据并使用 ExcelJS 将此数据添加到 Excel 文件中。

worksheet.addRows(freedomRawData.records);

'records' 是一个包含超过 165,000 个元素的数组。将数据写入 excel 文件时，出现错误 -

FATAL ERROR: invalid array length Allocation failed - JavaScript heap out of memory

相同的脚本适用于 'record' 长度为 115,000 个元素的数据。在互联网上，我找到了以下方法：

node --max-old-space-size=8192 <file_name>.js

这没有用，我尝试使用我的 RAM 的最大容量 (16384MB)；这也没有帮助。我是 NodeJS 的新手，非常感谢任何帮助。

Answer 1

ExcelJS 有一个流式编写器接口：

async function writeExcel(rows_array){
  const workbook = new Excel.stream.xlsx.WorkbookWriter({ filename: 'stream.xlsx' })
  const worksheet = workbook.addWorksheet('data')
  for (const row of rows_array) {
    worksheet.addRow(row).commit()
  }
  await workbook.commit()
}

在这种情况下，由于 node/v8 垃圾收集器的工作方式，数据集仍可能存在内存问题。垃圾收集需要事件循环的滴答声来真正清理“释放”的内存。如果你运行足够的同步代码，比如 for 循环，并且该循环每次迭代分配更多内存，那么 GC 不能运行直到代码暂停之后（即final worbook.commit()。如果你仍然运行遇到 OOM 问题，那么你可以强制异步暂停，以允许在 .commit() 之后实际收集可以清理的行内存。

  for (const i in rows_array) {
    worksheet.addRow(rows_array[i]).commit()
    if (i % 10000 === 0) await Promise.resolve(true)
  }

NodeJS：无效的数组长度分配失败 - JavaScript 堆内存不足

NodeJS: invalid array length Allocation failed - JavaScript heap out of memory

javascript

heap-memory

node.js

exceljs

puppeteer