node.js爬虫爬取拉勾网职位信息

 更新时间:2017年03月14日 08:57:03   作者:陌路黄昏后   我要评论
本篇文章主要介绍了node.js爬虫爬取拉勾网职位信息的方法。具有很好的参考价值。下面跟着小编一起来看下吧

简介

用node.js写了一个简单的小爬虫,用来爬取拉勾网上的招聘信息,共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据,分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取,爬到的数据以json格式储存到本地,为了方便观察,我将数据整理了一下供大家参考

数据结果

上述数据为3月13日22时爬取的数据,可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

爬取到的数据文件

json数据文件

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据,该数据包含所要请求职位的信息,省去了使用chreio解析的麻烦,所以直接用superagent来进行请求上述地址,并将数据储存在本地即可,其中参数city是为城市,kd为所要搜索的关键词,pn为要请求的页数,当中使用到了async来控制异步流程,使得并发数不超过3,防止被封ip。

代码地址及使用

github:https://github.com/zsqosos/positionAnalysis

代码请在github上查看,使用该程序需要安装node环境,如果觉得还不错的话烦请给个star,欢迎大家修改使用该程序。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持澳门金沙网上娱乐!

相关文章

  • node网页分段渲染详解

    node网页分段渲染详解

    按照常理,我们渲染一张网页,必定是网页全部拼装完毕,然后生成HTML字符串,传送至客户端。这也意味着,如果一张网页处理的有快有慢的话,必须串行等到所有的逻辑都处理完毕。后端才能进行返回。
    2016-09-09
  • node命令行工具之实现项目工程自动初始化的标准流程

    node命令行工具之实现项目工程自动初始化的标准流程

    这篇文章主要介绍了node命令行工具之实现项目工程自动初始化的标准流程 ,本文分步骤给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • nodejs制作爬虫实现批量下载图片

    nodejs制作爬虫实现批量下载图片

    本文给大家分享的是作者使用nodejs制作爬虫来爬去图片并批量下载的全过程,非常的细致,有需要的小伙伴可以参考下
    2017-05-05
  • 使用NodeJs 开发微信公众号(三)微信事件交互实例

    使用NodeJs 开发微信公众号(三)微信事件交互实例

    这篇文章主要介绍了使用NodeJs 开发微信公众号(三)微信事件交互实例的相关资料,需要的朋友可以参考下
    2016-03-03
  • nodejs实现发出蜂鸣声音(系统报警声)的方法

    nodejs实现发出蜂鸣声音(系统报警声)的方法

    这篇文章主要介绍了nodejs实现发出蜂鸣声音(系统报警声)的方法,结合实例形式分析了nodejs发出蜂鸣声的原理及具体应用方法,需要的朋友可以参考下
    2017-01-01
  • node.js爬取中关村的在线电瓶车信息

    node.js爬取中关村的在线电瓶车信息

    这篇文章主要给大家介绍了关于利用node.js如何爬取中关村的在线电瓶车信息的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用node.js具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-11-11
  • NodeJS Web应用监听sock文件实例

    NodeJS Web应用监听sock文件实例

    这篇文章主要介绍了NodeJS Web应用监听sock文件实例,本文讲解 NodeJS 的 TCP 和 HTTP 监听 Domain Socket 文件例子,需要的朋友可以参考下
    2015-02-02
  • node.js中module.exports与exports用法上的区别

    node.js中module.exports与exports用法上的区别

    Node.js 引入了模块(Module)概念,一个模块可以通过module.exports 或 exports 将函数、变量等导出,以使其它 JavaScript 脚本通过require() 函数引入并使用。那么node.js中module.exports与exports有什么区别呢?下面小编给大家解答下
    2016-09-09
  • 利用adb shell和node.js实现抖音自动抢红包功能(推荐)

    利用adb shell和node.js实现抖音自动抢红包功能(推荐)

    这篇文章主要介绍了利用adb shell和node.js实现抖音自动抢红包功能,非常不错,具有参考借鉴价值,需要的朋友可以参考下
    2018-02-02
  • Nodejs高扩展性的模板引擎 functmpl简介

    Nodejs高扩展性的模板引擎 functmpl简介

    本文给大家分享的是一款nodejs高扩展性的模板引擎functmpl的简单介绍以及用法详解,有需要的小伙伴可以参考下
    2017-02-02

最新评论