PHP - 从目录中读取大量文件

PHP - read huge amount of files from directory

我有一个包含大量图片(至少 10000 个文件)的文件夹,我需要使用 PHP 获取所有这些文件的名称。 问题是当我使用 scandir() 时出现内存限制错误。 另外,我尝试使用这样的代码:

          $files = [];
          $dir = opendir($this->path);
          $i = 0;
          while(($file = readdir($dir)) !== false) {
              $files[] = $file;
              $i++;
              if ($i == 100)
                  break;
          }

这段代码工作正常,但不是我需要的。当我尝试获取所有文件时,脚本仍然崩溃。

此外,我考虑过以某种方式保存 $dir 中的指针状态,以便稍后通过 AJAX 请求使用它并获取所有文件,但我找不到任何解决方案。

有没有设置读取文件的限制和偏移量的方法? 我的意思是像分页。

我有 Unix 背景,所以你可以这样做(假设你是 运行 你的 PHP 在 Linux 或 Unix 上:

  • 系统调用:/bin/ls -c1 > files.list
  • 您可以根据需要使系统调用复杂到排序、解析、编辑...
  • 阅读files.list并显示
  • 您可以使用 file_get_contents() 来读取文件。

如果内存是个大问题,你可以使用RecursiveDirectoryIterator with a Generator

function recursiveDirectoryIterator($path) {
  foreach (new RecursiveIteratorIterator(new RecursiveDirectoryIterator($path)) as $file) {
    if (!$file->isDir()) {
      yield $file->getFilename() . $file->getExtension();
    }
  }
}

$start = microtime(true);
$instance = recursiveDirectoryIterator('../vendor');
$total_files = 0;
foreach($instance as $value) {
  // echo $value
  $total_files++;
}
echo "Mem peak usage: " . (memory_get_peak_usage(true)/1024/1024)." MiB";
echo "Total number of files: " . $total_files;
echo "Completed in: ", microtime(true) - $start, " seconds";

这是我在不太出色的笔记本电脑上得到的。