基于node.js实现爬虫的讲解

 更新时间:2019年02月18日 16:49:09   作者:Inside_Zhang   我要评论
今天小编就为大家分享一篇关于基于node.js实现爬虫的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

1. cheerio 与 request

  • request:模拟客户端行为,对页面进行请求
  • cheerio:对服务器端返回的页面进行解析;
var cheerio = require('cheerio');
var request = require('request');
var startUrl =''
request(startUrl, function(err, response) {
  if (err) {
    console.log(err);
  }
  var $ = cheerio.load(response.body);
  var title = $('title').text();
  console.log(title);
}

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配:

var $=cheerio.load('<div class="container"></div>'); 
$('.container')

取其链接:<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>

$('a.downbtn').attr('href')

某一页面下的全部可链接:

var url = 
var $ = cheerio.load(data);
  $("a.downbtn").each(function(i, e) {
    console.log($(e).attr("href"));
  });
  console.log("done");
 } else {
   console.log("error");
 } 

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对澳门金沙网上娱乐的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • NodeJS学习笔记之Http模块

    NodeJS学习笔记之Http模块

    这里只是熟悉nodejs中的http模块的API,一般在开发过程中使用的是第三方的框架,比如说Express。其中封装了更为简单的构建http服务器的API。
    2015-01-01
  • 利用Node.js批量抓取高清妹子图片实例教程

    利用Node.js批量抓取高清妹子图片实例教程

    这篇文章主要给大家介绍了关于利用Node.js批量抓取高清妹子图片的相关资料,文中通过示例代码介绍的非常详细,需要的朋友们可以直接将代码复制进行使用,下面随着小编来一起学习学习吧
    2018-08-08
  • Node.js中require的工作原理浅析

    Node.js中require的工作原理浅析

    这篇文章主要介绍了Node.js中require的工作原理浅析,通过分析node.js的源码得到本文,需要的朋友可以参考下
    2014-06-06
  • 学习 NodeJS 第八天:Socket 通讯实例

    学习 NodeJS 第八天:Socket 通讯实例

    本篇文章主要介绍了学习 NodeJS 第八天:Socket 通讯实例,非常具有实用价值,需要的朋友可以参考下。
    2016-12-12
  • 说说node中的可读流和可写流的区别

    说说node中的可读流和可写流的区别

    这篇文章主要介绍了说说node中的可读流和可写流的区别,详细的介绍了可读流和可写流,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-06-06
  • 剖析Node.js异步编程中的回调与代码设计模式

    剖析Node.js异步编程中的回调与代码设计模式

    这篇文章主要介绍了Node.js异步编程中的回调与代码设计模式,虽然大多数场合回调编写时的长串括号不怎么好看,但Node的异步性能确实很好,需要的朋友可以参考下
    2016-02-02
  • 轻松创建nodejs服务器(1):一个简单nodejs服务器例子

    轻松创建nodejs服务器(1):一个简单nodejs服务器例子

    这篇文章主要介绍了一个简单nodejs服务器例子,本文实现了一个简单的hello world例子,并展示如何运行这个服务器,需要的朋友可以参考下
    2014-12-12
  • Node.js 获取微信JS-SDK CONFIG的方法示例

    Node.js 获取微信JS-SDK CONFIG的方法示例

    这篇文章主要介绍了Node.js 获取微信JS-SDK CONFIG的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-05-05
  • 基于socket.io和node.js搭建即时通信系统

    基于socket.io和node.js搭建即时通信系统

    socket.IO是一个websocket库,包括了客户端的js和服务器端的nodejs。官方地址:http://socket.io
    2014-07-07
  • 使用webpack打包koa2 框架app

    使用webpack打包koa2 框架app

    本文给大家介绍的是使用webpack为koa2框架打包的步骤及最终的部署,非常实用,有需要的小伙伴可以参考下
    2018-02-02

最新评论