PHP超低内存遍历目录文件和读取超大文件的方法

 更新时间:2019年05月01日 09:24:30   作者:小明   我要评论

这篇文章主要介绍了PHP超低内存遍历目录文件和读取超大文件的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

这不是一篇教程,这是一篇笔记,所以我不会很系统地论述原理和实现,只简单说明和举例。

前言

我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的,低效就算了,有的甚至好意思说是高效,实在辣眼睛。

这篇笔记主要解决这么几个问题:

PHP 如何使用超低内存快速遍历数以万计的目录文件?

PHP 如何使用超低内存快速读取几百MB甚至是GB级文件?

顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要 PHP 写这两个功能的情况真的很少,我记性不好,免得忘了又重走一遍弯路)

遍历目录文件

网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合,在目录文件不多的情况下是没问题的,但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候),过大的数组会要求使用超大内存,不仅导致速度慢,而且内存不足的时候直接就崩溃了。

这时候正确的实现方法是使用 yield 关键字返回,下面是我最近使用的代码:

<?php
function glob2foreach($path, $include_dirs=false) {
  $path = rtrim($path, '/*');
  if (is_readable($path)) {
    $dh = opendir($path);
    while (($file = readdir($dh)) !== false) {
      if (substr($file, 0, 1) == '.')
        continue;
      $rfile = "{$path}/{$file}";
      if (is_dir($rfile)) {
        $sub = glob2foreach($rfile, $include_dirs);
        while ($sub->valid()) {
          yield $sub->current();
          $sub->next();
        }
        if ($include_dirs)
          yield $rfile;
      } else {
        yield $rfile;
      }
    }
    closedir($dh);
  }
}
// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {
  // 当前文件
  $filename = $glob->current();
  // 这个就是包括路径在内的完整文件名了
  // echo $filename;
  // 指向下一个,不能少
  $glob->next();
}

yield 返回的是生成器对象(不了解的可以先去了解一下 PHP 生成器),并没有立即生成数组,所以目录下文件再多也不会出现巨无霸数组的情况,内存消耗是低到可以忽略不计的几十 kb 级别,时间消耗也几乎只有循环消耗。

读取文本文件

读取文本文件的情况跟遍历目录文件其实类似,网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用,处理小文件的时候没问题,但是处理大文件就有内存不足等问题了,用 file_get_contents 去读几百MB的文件几乎就是自杀。

这个问题的正确处理方法同样和 yield 关键字有关,通过 yield 逐行处理,或者 SplFileObject 从指定位置读取。

逐行读取整个文件:

<?php
function read_file($path) {
  if ($handle = fopen($path, 'r')) {
    while (! feof($handle)) {
      yield trim(fgets($handle));
    }
    fclose($handle);
  }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
  // 当前行文本
  $line = $glob->current();
  // 逐行处理数据
  // $line
  // 指向下一个,不能少
  $glob->next();
}

通过 yield 逐行读取文件,具体使用多少内存取决于每一行的数据量有多大,如果是每行只有几百字节的日志文件,即使这个文件超过100M,占用内存也只是KB级别。

但很多时候我们并不需要一次性读完整个文件,比如当我们想分页读取一个1G大小的日志文件的时候,可能想第一页读取前面1000行,第二页读取第1000行到2000行,这时候就不能用上面的方法了,因为那方法虽然占用内存低,但是数以万计的循环是需要消耗时间的。

这时候,就改用 SplFileObject 处理,SplFileObject 可以从指定行数开始读取。下面例子是写入数组返回,可以根据自己业务决定要不要写入数组,我懒得改了。

<?php
function read_file2arr($path, $count, $offset=0) {
  $arr = array();
  if (! is_readable($path))
    return $arr;
  $fp = new SplFileObject($path, 'r');
  // 定位到指定的行数开始读
  if ($offset)
    $fp->seek($offset); 
  $i = 0;
  while (! $fp->eof()) {
    // 必须放在开头
    $i++;
    // 只读 $count 这么多行
    if ($i > $count)
      break;
    $line = $fp->current();
    $line = trim($line);
    $arr[] = $line;
    // 指向下一个,不能少
    $fp->next();
  }
  return $arr;
}

以上所说的都是文件巨大但是每一行数据量都很小的情况,有时候情况不是这样,有时候是一行数据也有上百MB,那这该怎么处理呢?

如果是这种情况,那就要看具体业务了,SplFileObject 是可以通过 fseek 定位到字符位置(注意,跟 seek 定位到行数不一样),然后通过 fread 读取指定长度的字符。

也就是说通过 fseek 和 fread 是可以实现分段读取一个超长字符串的,也就是可以实现超低内存处理,但是具体要怎么做还是得看具体业务要求允许你怎么做。

复制大文件

顺便说下 PHP 复制文件,复制小文件用 copy 函数是没问题的,复制大文件的话还是用数据流好,例子如下:

<?php
function copy_file($path, $to_file) {
  if (! is_readable($path))
    return false;
  if(! is_dir(dirname($to_file)))
    @mkdir(dirname($to_file).'/', 0747, TRUE);
  if (
    ($handle1 = fopen($path, 'r')) 
    && ($handle2 = fopen($to_file, 'w'))
  ) {
    stream_copy_to_stream($handle1, $handle2);
    fclose($handle1);
    fclose($handle2);
  }
}

最后

我这只说结论,没有展示测试数据,可能难以服众,如果你持怀疑态度想求证,可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持澳门金沙网上娱乐。

相关文章

  • 利用laravel+ajax实现文件上传功能方法示例

    利用laravel+ajax实现文件上传功能方法示例

    最近在做的项目基于Laravel开发,需要用到Ajax上传,查了些资料,自己整理了下可用的方法。下面这篇文章主要给大家介绍了关于利用laravel+ajax实现文件上传功能的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-08-08
  • Yii框架创建cronjob定时任务的方法分析

    Yii框架创建cronjob定时任务的方法分析

    这篇文章主要介绍了Yii框架创建cronjob定时任务的方法,结合具体实例形式分析了Yii定时任务相关配置、实现步骤与注意事项,需要的朋友可以参考下
    2017-05-05
  • php xml实例 留言本

    php xml实例 留言本

    实例学习制作xml留言本代码。
    2009-03-03
  • php htmlentities()函数的定义和用法

    php htmlentities()函数的定义和用法

    下面小编就为大家带来一篇php htmlentities()函数的定义和用法。小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-05-05
  • 深入剖析PHP中printf()函数格式化使用

    深入剖析PHP中printf()函数格式化使用

    下面小编就为大家带来一篇深入剖析PHP中printf()函数格式化使用。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-05-05
  • 详解PHP中的序列化、反序列化操作

    详解PHP中的序列化、反序列化操作

    本篇文章主要介绍了PHP中的序列化、反序列化操作,可以将一个变量的数据"转换为"字符串,目的是将该字符串存储在本地。相反的行为成为反序列化。
    2017-03-03
  • thinkPHP5框架金沙国际官网连贯操作之cache()用法分析

    thinkPHP5框架金沙国际官网连贯操作之cache()用法分析

    这篇文章主要介绍了thinkPHP5框架金沙国际官网连贯操作之cache()用法,结合实例形式分析了thinkPHP5中缓存cache的应用场景及连贯操作中cache的设置、更新、删除等操作技巧,需要的朋友可以参考下
    2018-01-01
  • ThinkPHP3.1基础知识快速入门

    ThinkPHP3.1基础知识快速入门

    ThinkPHP是一个快速、简单的基于MVC和面向对象的轻量级PHP开发框架,拥有众多的原创功能和特性,为WEB应用开发提供了强有力的支持。是众多PHP开发人员的首选这篇文章主要介绍了ThinkPHP3.1入门知识,需要的朋友可以参考下
    2014-06-06
  • 学习php分页代码实例

    学习php分页代码实例

    学习PHP,一定会遇到操作MYSQL金沙国际官网,而且会对金沙国际官网里的数据做分页显示出来的问题,下面写一个小例子学习一下PHP分页的方法。
    2013-10-10
  • php切割页面div内容的实现代码分享

    php切割页面div内容的实现代码分享

    今天在百度知道看到一个关于php获取DIV内容的问题,做了一晚,终于是做出来了
    2012-07-07

最新评论