PHP读取超大文件和超大目录的方法

大文件

<?php
function readFile($file)
{
    # 打开文件
    $handle = fopen($file, "rb");

    while (feof($handle) === false) {
        # 重点 每次读取 1024 个字节
        yield fread($handle, 1024);
    }

    fclose($handle);
}

foreach (readFile("./test.zip") as $n => $line) {
    # 把读取的文件流写成一个新的文件
    file_put_contents("copy.zip", $line, FILE_APPEND);
}

function getLines($file) {
    $f = fopen($file, "r");
    try {
        while ($line = fgets($f)) {
            yield $line;
        }
    } finally {
        fclose($f);
    }
}

foreach (getLines("file.txt") as $n => $line) {
    // 只取前五行
    if ($n > 5) break;
    # 把读取的文件流写成一个新的文件
    file_put_contents("copy.txt", $line, FILE_APPEND);
}

大目录

• scandir()
  读取大目录是不建议使用 scandir() 函数，因为该函数会一次性将 目录下的文件名生成一个数组全部加载到内存中，当目录下的文件较多时会非常危险。

• opendir()、readdir()、closedir()

function traverseDir($dir)
{
    if (is_dir($dir)) {
        if ($handle = opendir($dir)) {
            while(($file = readdir($handle)) !== false){
                if (in_array($file, [".", ".."], true)) {
                    continue;
                }

                yield $file;
            }

            closedir($handle);
        }
    }
}


$dir = "sources/";
//echo memory_get_usage() . "
";

foreach (traverseDir($dir) as $fileName)
{
    //echo $fileName, "
";
    //echo memory_get_usage() . "
";
    //echo "--------------------------------
";
    file_put_contents($dir . $fileName, $fileName);
}