python基于queue和threading实现多线程下载实例

 更新时间:2014年10月08日 08:44:48   投稿:shichen2014   我要评论
这篇文章主要介绍了python基于queue和threading实现多线程下载实例,是比较实用的技巧,需要的朋友可以参考下

本文实例讲述了python基于queue和threading实现多线程下载的方法,分享给大家供大家参考。具体方法如下:

主代码如下:

  #download worker 
  queue_download = Queue.Queue(0) 
  DOWNLOAD_WORKERS = 20 
  for i in range(DOWNLOAD_WORKERS): 
    DownloadWorker(queue_download).start() #start a download worker 
  for md5 in MD5S: 
    queue_download.put(md5) 
  for i in range(DOWNLOAD_WORKERS): 
    queue_download.put(None) 

其中downloadworkers.py
类继承 threading.Thread,重载run方法..在__init__中调用threading.Thread.__init__(self),
在run方法中实现耗时的操作

import threading 
import Queue 
import md5query 
import DOM 
import os,sys 
class DownloadWorker(threading.Thread): 
  """""" 

  def __init__(self, queue): 
    """Constructor""" 
    self.__queue = queue 
    threading.Thread.__init__(self) 
 
  def run(self): 
    while 1: 
      md5 = self.__queue.get() 
      if md5 is None: 
        break #reached end of queue 
      #this is a time-cost produce 
      self._down(md5) 
      print "task:", md5, "finished" 
  def _down(self, md5): 
    config = { 
      'input':sys.stdin,  
      'output':'./samples',  
      'location':'xxx',  
      'has-fn':False,  
      'options':{'connect.timeout':60, 'timeout':3600},  
      'log':file('logs.txt', 'w'),  
    } 
    print 'download %s...' % (md5) 
    try: 
      data = downloadproc(config['location'], config['options'])#我的下载过程 
      if data: 
        dom, fileData = md5query.splited(data) 
        filename = md5 
        if config['has-fn']: 
          filename = '%s_%s' % (md5, dom.nodeValue2('xxxxxxx', '').encode('utf-8'))#这是我的下载的方法 
        f = file(os.path.join(config['output'], filename), 'w') 
        f.write(fileData) 
        f.close() 
        print '%s\tok' % (md5) 
      else: 
        print>>config['log'], '%s\t%s' % (md5, 'failed') 
    except Exception, e: 
      print>>config['log'], '%s\t%s' % (md5, str(e))

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • Python 过滤字符串的技巧,map与itertools.imap

    Python 过滤字符串的技巧,map与itertools.imap

    Python中的map函数非常有用,在字符转换和字符遍历两节都出现过,现在,它又出现了,会给我们带来什么样的惊喜呢?是不是要告诉我们,map是非常棒的,以后要多找它玩呢?
    2008-09-09
  • Python实现八皇后问题示例代码

    Python实现八皇后问题示例代码

    这篇文章主要给大家介绍了关于利用Python实现八皇后问题的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-12-12
  • python 不关闭控制台的实现方法

    python 不关闭控制台的实现方法

    在win32下,双击python程序会打开dos窗口,但是执行完毕后就会关闭,看不到输出的结果
    2011-10-10
  • python中利用Future对象异步返回结果示例代码

    python中利用Future对象异步返回结果示例代码

    future是一种对象,表示异步执行的操作。下面这篇文章主要给大家介绍了关于python中利用Future对象异步返回结果的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-09-09
  • Python tkinter事件高级用法实例

    Python tkinter事件高级用法实例

    这篇文章主要介绍了Python tkinter事件高级用法,结合实例形式分析了Python使用tkinter模块的事件响应及图形绘制相关操作技巧,需要的朋友可以参考下
    2018-01-01
  • python使用筛选法计算小于给定数字的所有素数

    python使用筛选法计算小于给定数字的所有素数

    这篇文章主要为大家详细介绍了python使用筛选法计算小于给定数字的所有素数,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • Sanic框架安装与简单入门示例

    Sanic框架安装与简单入门示例

    这篇文章主要介绍了Sanic框架安装与简单用法,结合实例形式简单分析了Sanic框架的概念、原理、pip命令安装以及使用方法,需要的朋友可以参考下
    2018-07-07
  • 解决Pandas to_json()中文乱码,转化为json数组的问题

    解决Pandas to_json()中文乱码,转化为json数组的问题

    今天小编就为大家分享一篇解决Pandas to_json() 中文乱码,转化为json数组的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python多进程入门、分布式进程数据共享实例详解

    Python多进程入门、分布式进程数据共享实例详解

    这篇文章主要介绍了Python多进程入门、分布式进程数据共享,结合实例形式详细分析了Python进程操作技巧数据共享相关实现技巧与注意事项,需要的朋友可以参考下
    2019-06-06
  • python实现的登录与提交表单数据功能示例

    python实现的登录与提交表单数据功能示例

    这篇文章主要介绍了python实现的登录与提交表单数据功能,结合实例形式分析了Python表单登录相关的请求与响应操作实现技巧,需要的朋友可以参考下
    2019-09-09

最新评论