PHP - 从目录中读取大量文件
PHP - read huge amount of files from directory
我有一个包含大量图片(至少 10000 个文件)的文件夹,我需要使用 PHP 获取所有这些文件的名称。
问题是当我使用 scandir()
时出现内存限制错误。
另外,我尝试使用这样的代码:
$files = [];
$dir = opendir($this->path);
$i = 0;
while(($file = readdir($dir)) !== false) {
$files[] = $file;
$i++;
if ($i == 100)
break;
}
这段代码工作正常,但不是我需要的。当我尝试获取所有文件时,脚本仍然崩溃。
此外,我考虑过以某种方式保存 $dir
中的指针状态,以便稍后通过 AJAX 请求使用它并获取所有文件,但我找不到任何解决方案。
有没有设置读取文件的限制和偏移量的方法?
我的意思是像分页。
我有 Unix 背景,所以你可以这样做(假设你是 运行 你的 PHP 在 Linux 或 Unix 上:
- 系统调用:/bin/ls -c1 > files.list
- 您可以根据需要使系统调用复杂到排序、解析、编辑...
- 阅读files.list并显示
- 您可以使用 file_get_contents() 来读取文件。
如果内存是个大问题,你可以使用RecursiveDirectoryIterator with a Generator。
function recursiveDirectoryIterator($path) {
foreach (new RecursiveIteratorIterator(new RecursiveDirectoryIterator($path)) as $file) {
if (!$file->isDir()) {
yield $file->getFilename() . $file->getExtension();
}
}
}
$start = microtime(true);
$instance = recursiveDirectoryIterator('../vendor');
$total_files = 0;
foreach($instance as $value) {
// echo $value
$total_files++;
}
echo "Mem peak usage: " . (memory_get_peak_usage(true)/1024/1024)." MiB";
echo "Total number of files: " . $total_files;
echo "Completed in: ", microtime(true) - $start, " seconds";
这是我在不太出色的笔记本电脑上得到的。
我有一个包含大量图片(至少 10000 个文件)的文件夹,我需要使用 PHP 获取所有这些文件的名称。
问题是当我使用 scandir()
时出现内存限制错误。
另外,我尝试使用这样的代码:
$files = [];
$dir = opendir($this->path);
$i = 0;
while(($file = readdir($dir)) !== false) {
$files[] = $file;
$i++;
if ($i == 100)
break;
}
这段代码工作正常,但不是我需要的。当我尝试获取所有文件时,脚本仍然崩溃。
此外,我考虑过以某种方式保存 $dir
中的指针状态,以便稍后通过 AJAX 请求使用它并获取所有文件,但我找不到任何解决方案。
有没有设置读取文件的限制和偏移量的方法? 我的意思是像分页。
我有 Unix 背景,所以你可以这样做(假设你是 运行 你的 PHP 在 Linux 或 Unix 上:
- 系统调用:/bin/ls -c1 > files.list
- 您可以根据需要使系统调用复杂到排序、解析、编辑...
- 阅读files.list并显示
- 您可以使用 file_get_contents() 来读取文件。
如果内存是个大问题,你可以使用RecursiveDirectoryIterator with a Generator。
function recursiveDirectoryIterator($path) {
foreach (new RecursiveIteratorIterator(new RecursiveDirectoryIterator($path)) as $file) {
if (!$file->isDir()) {
yield $file->getFilename() . $file->getExtension();
}
}
}
$start = microtime(true);
$instance = recursiveDirectoryIterator('../vendor');
$total_files = 0;
foreach($instance as $value) {
// echo $value
$total_files++;
}
echo "Mem peak usage: " . (memory_get_peak_usage(true)/1024/1024)." MiB";
echo "Total number of files: " . $total_files;
echo "Completed in: ", microtime(true) - $start, " seconds";
这是我在不太出色的笔记本电脑上得到的。