异步和递归目录扫描，用于 Nodejs 和 Expressjs 中的文件列表

Question

在这个 Expressjs 路由文件中，我试图（递归地）获取 ./data[=25 中的所有 JSON 文件=] 目录.

实际上我可以 console.log 文件在这里你可以看到 A Mark，但我找不到一旦异步内容完成，将整个路径发送到视图的方法。

非常感谢您的帮助。

这是数据./data结构：

--- dir1 `-- json1.json `-- json2.json --- dir2 `-- json3.json --- dir3

const express = require('express'), router = express.Router(), fs = require('fs'), path = require('path') ; let scan = function (directoryName = './data') { return new Promise((resolve, reject) => { fs.readdir(directoryName, function (err, files) { if (err) reject(err); files.map((currentValue, index, arr) => { let fullPath = path.join(directoryName, currentValue); fs.stat(fullPath, function (err, stat) { if (err) reject(err); if (stat.isDirectory()) { scan(fullPath); } else { console.log(currentValue); <= (A mark) //resolve(); } }); }); }); }) }; router.get('/', (req, res, next) => { scan() .then(data => res.render('list', { title: 'List', data: data })) .catch(next); }); module.exports = router;

Answer 1

如果您承诺您正在使用的 fs 函数，以便所有异步逻辑都是承诺的，然后使用 async/await 来帮助您序列化控制流，则可以大大简化任务。

这是一种方法：

const promisify = require('util').promisify;
const path = require('path');
const fs = require('fs');
const readdirp = promisify(fs.readdir);
const statp = promisify(fs.stat);

async function scan(directoryName = './data', results = []) {
    let files = await readdirp(directoryName);
    for (let f of files) {
        let fullPath = path.join(directoryName, f);
        let stat = await statp(fullPath);
        if (stat.isDirectory()) {
            await scan(fullPath, results);
        } else {
            results.push(fullPath);
        }
    }
    return results;
}

以上代码在节点 v10.14.1 中测试。

然后您可以像以前一样使用它：

router.get('/', (req, res, next) => {
  scan().then(data => res.render('list', {
      title: 'List',
      data: data
   })).catch(next);
});

仅供参考，fs 模块有一个较新的（仍处于实验阶段）promise-based API。你可以这样使用它：

const path = require('path');
const fsp = require('fs').promises;

async function scan2(directoryName = './data', results = []) {
    let files = await fsp.readdir(directoryName, {withFileTypes: true});
    for (let f of files) {
        let fullPath = path.join(directoryName, f.name);
        if (f.isDirectory()) {
            await scan2(fullPath, results);
        } else {
            results.push(fullPath);
        }
    }
    return results;
}

请注意，这个新版本还使用了新的 withFileTypes 选项，这样就不必在每个文件上调用 stat()。

Answer 2

上面的例子都是在处理找到的条目之前创建一个大的结果数组。

这是一个解决方案，'streams' 将给定目录的所有找到的文件条目和 sub-directories 放入迭代器。

现在可以将过滤器添加到流中以将结果缩减为过滤规则。在此示例中，仅接受降价文件。

const fsp = require('fs').promises;
const path = require('path');

// scan the directory recursively and push each filename into the iterator.
async function* scan3(dir) {
  const entries = await fsp.readdir(dir, { withFileTypes: true });
  for (const de of entries) {
    const res = path.resolve(dir, de.name);
    // console.log('>' + res);
    if (de.isDirectory()) {
      yield* scan3(res);
    } else {
      yield res;
    }
  }
}


// get all filenames from the iterator param
// and push each filename with valid extension into the resulting iterator.
async function* filterExt(it, ext) {
  for await (const e of it) {
    if (e.endsWith(ext)) {
      // console.log('>>' + e);
      yield e;
    }
  }
}


async function main() {
  const it_files = scan3('.')
  const it_mdFiles = filterExt(it_files, '.md');

  for await (const f of it_mdFiles) {
    console.log('>>>' + f);
  }
}

main();

console.log("done.");

只需启用 console.log 行即可查看在哪个阶段处理了哪个文件名。

异步和递归目录扫描，用于 Nodejs 和 Expressjs 中的文件列表

Async and recursive directory scan, for file listing in Nodejs and Expressjs

asynchronous

fs

node.js

express

es6-promise