Python利用requests模块下载图片实例代码

 更新时间:2019年08月12日 09:51:38   作者:傲娇的草履虫   我要评论
这篇文章主要给大家介绍了关于Python利用requests模块下载图片的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Python具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

本文主要介绍的是关于Python利用requests模块下载图片的相关,下面话不多说了,来一起看看详细的介绍吧

MySQL中事先保存好爬取到的图片链接地址。

然后使用多线程把图片下载到本地。

示例代码:

# coding: utf-8
import MySQLdb
import requests
import os
import re
from threading import Thread
import datetime
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
      'Chrome/63.0.3239.132 Safari/537.36'}
file_path = 'F:\\mlu2'
if not os.path.exists(file_path):
 os.mkdir(file_path)

class Spider(object):
 def __init__(self, file_path, header):
  self.file_path = file_path
  self.header = header
 @staticmethod
 def timer(func):
  def time_count(*args):
   start_time = datetime.datetime.now()
   func(*args)
   end_time = datetime.datetime.now()
   day = (end_time - start_time).days
   times = (end_time - start_time).seconds
   hour = times / 3600
   h = times % 3600
   minute = h / 60
   m = h % 60
   second = m
   print "爬取完成"
   print "一共用时%s天%s时%s分%s秒" % (day, hour, minute, second)
  return time_count
 def get_link(self):
  conn = MySQLdb.connect(host='localhost',
        port=3306,
        user='root',
        passwd='729814',
        db='mlu',
        charset='utf8')
  cur = conn.cursor()
  sql = 'select image from msg limit 100' # image为事先爬取存到MySQL的图片链接地址
  cur.execute(sql)
  img_link = cur.fetchall()
  return img_link
 def download(self, link):
  filename = re.findall(r'.*/(.+)', link)[0]
  try:
   pic = requests.get(link, headers=self.header)
   if pic.status_code == 200:
    with open(os.path.join(self.file_path)+os.sep+filename, 'wb') as fp:
     fp.write(pic.content)
     fp.close()
   print "下载完成"
  except Exception as e:
   print e
 @timer
 def run_main(self):
  threads = []
  links = self.get_link()
  for link in links:
   img = str(link[0])
   t = Thread(target=self.download, args=[img])
   t.start()
   threads.append(t)
  for t in threads:
   t.join()

spider = Spider(file_path, header)
spider.run_main()

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对澳门金沙网上娱乐的支持。

相关文章

  • Pyhton中单行和多行注释的使用方法及规范

    Pyhton中单行和多行注释的使用方法及规范

    大家都知道python中的注释有多种,有单行注释,多行注释,批量注释,中文注释也是常用的。python注释也有自己的规范,这篇文章文章中会给大家详细介绍Pyhton中单行和多行注释的使用方法及规范,有需要朋友们可以参考借鉴。
    2016-10-10
  • Django实战之用户认证(初始配置)

    Django实战之用户认证(初始配置)

    这篇文章主要介绍了Django实战之用户认证(初始配置),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • 浅谈Django REST Framework限速

    浅谈Django REST Framework限速

    这篇文章主要介绍了浅谈Django REST Framework限速,具有一定借鉴价值,需要的朋友可以参考下。
    2017-12-12
  • 在Python中处理字符串之isdigit()方法的使用

    在Python中处理字符串之isdigit()方法的使用

    这篇文章主要介绍了在Python中处理字符串之isdigit()方法的使用,是Python入门学习中的基础知识,需要的朋友可以参考下
    2015-05-05
  • python mac下安装虚拟环境的图文教程

    python mac下安装虚拟环境的图文教程

    这篇文章主要介绍了python mac下安装虚拟环境 的相关资料,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-04-04
  • python求最大值最小值方法总结

    python求最大值最小值方法总结

    在本篇内容里小编给大家分享了关于python求最大值最小值方法以及实例内容,有兴趣的朋友们学习下。
    2019-06-06
  • Python类定义和类继承详解

    Python类定义和类继承详解

    这篇文章主要介绍了Python类定义和类继承详解,本文讲解了类的私有属性、类的方法、私有的类方法、类的专有方法、类的定义、类的单继承、类的多继承等内容,需要的朋友可以参考下
    2015-05-05
  • python pandas模块基础学习详解

    python pandas模块基础学习详解

    这篇文章主要介绍了python pandas模块基础学习详解的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • Python判断变量是否已经定义的方法

    Python判断变量是否已经定义的方法

    这篇文章主要介绍了Python判断变量是否已经定义的方法,非常实用的方法,需要的朋友可以参考下
    2014-08-08
  • python检测是文件还是目录的方法

    python检测是文件还是目录的方法

    这篇文章主要介绍了python检测是文件还是目录的方法,涉及Python针对文件及目录的检测技巧,需要的朋友可以参考下
    2015-07-07

最新评论