基于ThinkPHP5框架使用QueryList爬取并存入mysql金沙国际官网操作示例

 更新时间:2019年05月25日 12:03:49   作者:qq_37138818   我要评论

这篇文章主要介绍了基于ThinkPHP5框架使用QueryList爬取并存入mysql金沙国际官网操作,结合实例形式分析了thinkPHP5框架整合QueryList爬取数据存入mysql相关操作技巧及注意事项,需要的朋友可以参考下

本文实例讲述了基于ThinkPHP5框架使用QueryList爬取并存入mysql金沙国际官网操作。分享给大家供大家参考,具体如下:

QueryList4教程 地址:

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现 以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)
    Authentication required (packagist.phpcomposer.com):
      Username:

出现这样的 情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 设置采集规则
  ->rules([
    // 爬取图片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取电影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取电影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映时间
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果没有错的 则

如果想继续抓取下一页的数据 要根据规律来去

这里我继续抓取20页 但是没有那么多就抓取了10页的数据

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 设置采集规则
        ->rules([
          // 爬取图片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取电影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取电影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映时间
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

将数据插入到金沙国际官网 详细步骤

更多关于thinkPHP相关内容感兴趣的读者可查看本站专题:《ThinkPHP入门教程》、《thinkPHP模板操作技巧总结》、《ThinkPHP常用方法总结》、《codeigniter入门教程》、《CI(CodeIgniter)框架进阶教程》、《Zend FrameWork框架入门教程》及《PHP模板技术总结》。

希望本文所述对大家基于ThinkPHP框架的PHP程序设计有所帮助。

相关文章

  • laravel项目利用twemproxy部署redis集群的完整步骤

    laravel项目利用twemproxy部署redis集群的完整步骤

    Twemproxy是一个代理服务器,可以通过它减少Memcached或Redis服务器所打开的连接数。下面这篇文章主要给大家介绍了关于laravel项目利用twemproxy部署redis集群的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2018-05-05
  • 分享六个比较好用的php数组Array函数

    分享六个比较好用的php数组Array函数

    这篇文章给大家分享六个比较好用的php数组Array函数,非常不错,具有一定的参考借鉴价值,需要的朋友参考下吧
    2018-07-07
  • PHP内存缓存功能memcached示例

    PHP内存缓存功能memcached示例

    这篇文章主要介绍了PHP内存缓存功能memcached示例,简单的介绍了memcached,是php操作memcached的典型应用,有需要的朋友可以来了解一下,
    2016-10-10
  • ThinkPHP水印功能实现修复PNG透明水印并增加JPEG图片质量可调整

    ThinkPHP水印功能实现修复PNG透明水印并增加JPEG图片质量可调整

    这篇文章主要介绍了ThinkPHP水印功能实现修复PNG透明水印并增加JPEG图片质量可调整,包含了对多层水印设置代码的修改,修改的部分在注释里有较为详细的说明,非常具有实用价值,需要的朋友可以参考下
    2014-11-11
  • 如何使用GDB调试PHP程序

    如何使用GDB调试PHP程序

    GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具。如果你是在 UNIX平台下做软件,你会发现GDB这个调试工具有比VC、BCB的图形化调试器更强大的功能。同时GDB也具有例如ddd这样的图形化的调试端
    2015-12-12
  • Yii2框架redis基本应用示例

    Yii2框架redis基本应用示例

    这篇文章主要介绍了Yii2框架redis基本应用,结合实例形式分析了Yii2 redis扩展包的安装、配置及基本数据操作相关技巧,需要的朋友可以参考下
    2018-07-07
  • ThinkPHP中URL路径访问与模块控制器之间的关系

    ThinkPHP中URL路径访问与模块控制器之间的关系

    这篇文章主要介绍了ThinkPHP中URL路径访问与模块控制器之间的关系,是ThinkPHP程序开发非常重要的技巧,需要的朋友可以参考下
    2014-08-08
  • php smarty truncate UTF8乱码问题解决办法

    php smarty truncate UTF8乱码问题解决办法

    这篇文章主要介绍了php smarty truncate UTF8乱码问题解决办法,需要的朋友可以参考下
    2014-06-06
  • 详解Yii实现分页的两种方法

    详解Yii实现分页的两种方法

    本篇文章主要介绍了Yii实现分页的两种方法,一种是用DAO实现,另外一种是在widget实现.有兴趣的可以了解一下。
    2017-01-01
  • 新浪SAE搭建PHP项目教程

    新浪SAE搭建PHP项目教程

    这篇文章主要介绍了新浪SAE搭建PHP项目教程,图文并茂,需要的朋友可以参考下
    2015-01-01

最新评论