Python爬虫:通过关键字爬取百度图片

 更新时间:2017年02月17日 09:58:19   作者:WC-cong   我要评论
本文主要介绍了Python爬虫:通过关键字爬取百度图片的方法。具有很好的参考价值,下面跟着小编一起来看下吧

使用工具:Python2.7 点我下载

scrapy框架

sublime text3

一。搭建python(Windows版本)

 1.安装python2.7 ---然后在cmd当中输入python,界面如下则安装成功

 2.集成Scrapy框架----输入命令行:pip install Scrapy

安装成功界面如下:

失败的情况很多,举例一种:

解决方案:

其余错误可百度搜索。

二。开始编程。

1.爬取无反爬虫措施的静态网站。例如百度贴吧,豆瓣读书。

例如-《桌面吧》的一个帖子https://tieba.baidu.com/p/2460150866?red_tag=3569129009

python代码如下:

代码注释:引入了两个模块urllib,re。定义两个函数,第一个函数是获取整个目标网页数据,第二个函数是在目标网页中获取目标图片,遍历网页,并且给获取的图片按照0开始排序。

注:re模块知识点:

爬取图片效果图:

图片保存路径默认在建立的.py同目录文件下。

2.爬取有反爬虫措施的百度图片。如百度图片等。

例如关键字搜索“表情包”https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=utf-8&word=%B1%ED%C7%E9%B0%FC&fr=ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111

图片采用滚动式加载,先爬取最优先的30张。

代码如下:

代码注释:导入4个模块,os模块用于指定保存路径。前两个函数同上。第三个函数使用了if语句,并tryException异常。

爬取过程如下:

爬取结果:

注:编写python代码注重对齐,and不能混用Tab和空格,易报错。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持澳门金沙网上娱乐!

相关文章

  • opencv转换颜色空间更改图片背景

    opencv转换颜色空间更改图片背景

    这篇文章主要为大家详细介绍了opencv转换颜色空间更改图片背景,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-08-08
  • python 列表递归求和、计数、求最大元素的实例

    python 列表递归求和、计数、求最大元素的实例

    今天小编就为大家分享一篇python 列表递归求和、计数、求最大元素的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Flask之flask-session的具体使用

    Flask之flask-session的具体使用

    这篇文章主要介绍了Flask之flask-session的具体使用,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • Python远程桌面协议RDPY安装使用介绍

    Python远程桌面协议RDPY安装使用介绍

    这篇文章主要介绍了Python远程桌面协议RDPY安装使用介绍,本文讲解了RDPY的安装、RDPY的简单使用两部份内容,需要的朋友可以参考下
    2015-04-04
  • 详解PyCharm配置Anaconda的艰难心路历程

    详解PyCharm配置Anaconda的艰难心路历程

    这篇文章主要介绍了详解PyCharm配置Anaconda的艰难心路历程,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-08-08
  • Python 多线程的实例详解

    Python 多线程的实例详解

    这篇文章主要介绍了 Python 多线程的实例详解的相关资料,希望通过本文大家能掌握多线程的知识,需要的朋友可以参考下
    2017-09-09
  • PyCharm在新窗口打开项目的方法

    PyCharm在新窗口打开项目的方法

    今天小编就为大家分享一篇PyCharm在新窗口打开项目的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python 实现文件打包、上传与校验的方法

    Python 实现文件打包、上传与校验的方法

    今天小编就为大家分享一篇Python 实现文件打包、上传与校验的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • python中的文件打开与关闭操作命令介绍

    python中的文件打开与关闭操作命令介绍

    下面小编就为大家分享一篇python中的文件打开与关闭操作命令介绍,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Django model update的多种用法介绍

    Django model update的多种用法介绍

    Django开发过程中对表(model)的增删改查是最常用的功能之一,本文介绍笔者在使用model update过程中遇到的那些事
    2019-07-07

最新评论