python检查URL是否正常访问的小技巧

 更新时间:2017年02月25日 17:00:08   作者:程序猿全敏   我要评论
检查一个URL是否正常很容易,如果检查2000个URL,或者是大批量的URL怎么办?这篇文章就为大家介绍了python检查URL是否正常访问的小技巧,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点Python,一想,python处理起来容易,就选了python,开始把思路想好:

1.首先2000个URL。可以放在一个txt文本内
2.通过python 把内容内的URL一条一条放进数组内
3.打开一个模拟的浏览器,进行访问。
4.如果正常访问就输出正常,错误就输出错误

直接简单粗暴甩代码。因为涉及到隐私,图片打了码

import urllib.request 
import time 
opener = urllib.request.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] 
#这个是你放网址的文件名,改过来就可以了 
file = open('test.txt') 
lines = file.readlines() 
aa=[] 
for line in lines: 
  temp=line.replace('\n','') 
  aa.append(temp) 
print(aa) 
print('开始检查:') 
for a in aa: 
  tempUrl = a 
  try : 
    opener.open(tempUrl) 
    print(tempUrl+'没问题') 
  except urllib.error.HTTPError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  except urllib.error.URLError: 
    print(tempUrl+'=访问页面出错') 
    time.sleep(2) 
  time.sleep(0.1) 

效果图:

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持澳门金沙网上娱乐。

相关文章

  • python函数的作用域及关键字详解

    python函数的作用域及关键字详解

    这篇文章主要介绍了python函数的作用域及关键字详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • 浅析python中numpy包中的argsort函数的使用

    浅析python中numpy包中的argsort函数的使用

    这篇文章主要介绍了python中numpy包中的argsort函数的使用,argsort()函数在模块numpy.core.fromnumeric中,本文通过实例代码给大家介绍的非常详细,需要的朋友参考下吧
    2018-08-08
  • 利用Psyco提升Python运行速度

    利用Psyco提升Python运行速度

    这篇文章主要介绍了利用Psyco提升Python运行速度,需要的朋友可以参考下
    2014-12-12
  • python实现简易数码时钟

    python实现简易数码时钟

    这篇文章主要为大家详细介绍了python实现简易数码时钟,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • python中使用smtplib和email模块发送邮件实例

    python中使用smtplib和email模块发送邮件实例

    python脚本发邮件,一般会用到smtplib和email这两个模块。看看该模块怎么使用,先看smtplib模块。 smtplib模块定义了一个简单的SMTP客户端,可以用来在互联网上发送邮件
    2014-04-04
  • python dict 相同key 合并value的实例

    python dict 相同key 合并value的实例

    今天小编就为大家分享一篇python dict 相同key 合并value的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • python+numpy+matplotalib实现梯度下降法

    python+numpy+matplotalib实现梯度下降法

    这篇文章主要为大家详细介绍了python+numpy+matplotalib实现梯度下降法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • Python Opencv提取图片中某种颜色组成的图形的方法

    Python Opencv提取图片中某种颜色组成的图形的方法

    这篇文章主要介绍了Python Opencv提取图片中某种颜色组成的图形的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • pygame游戏之旅 如何制作游戏障碍

    pygame游戏之旅 如何制作游戏障碍

    这篇文章主要为大家详细介绍了pygame游戏之旅的第6篇,教大家如何制作游戏障碍,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • python爬虫获取小区经纬度以及结构化地址

    python爬虫获取小区经纬度以及结构化地址

    这篇文章主要为大家详细介绍了python爬虫获取小区经纬度,以及结构化的地址,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-12-12

最新评论