判断网页编码的方法python版

 更新时间:2016年08月12日 14:34:53   作者:mickelfeng   我要评论
这篇文章主要为大家详细介绍了python代码判断网页编码的方法,感兴趣的小伙伴们可以参考一下

在web开发的时候我们经常会遇到网页抓取和分析,各种语言都可以完成这个功能。我喜欢用python实现,因为python提供了很多成熟的模块,可以很方便的实现网页抓取。
但是在抓取过程中会遇到编码的问题,那今天我们来看一下如何判断网页的编码:
网上很多网页的编码格式都不一样,大体上是utf-8,utf-8,UTF-8等。
我们在获取网页的的数据后,先要对网页的编码进行判断,才能把抓取的内容的编码统一转换为我们能够处理的编码,避免乱码问题的出现。

下面介绍两种判断网页编码的方法:

总结:第二个方法很准确,在网页编码分析的时候用python模块分析内容是最准确的,而使用分析meta头信息的方法是不太准确的。

方法一:使用urllib模块的getparam方法    

import urllib
#autor:pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu

方法二:使用chardet模块    

#如果你的python没有安装chardet模块,你需要首先安装一下chardet判断编码的模块哦 
#author:pythontab.com
import chardet 
import urllib
#先获取网页内容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet进行内容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持澳门金沙网上娱乐。

您可能感兴趣的文章:

相关文章

  • python使用thrift教程的方法示例

    python使用thrift教程的方法示例

    这篇文章主要介绍了python使用thrift教程的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • python list使用示例 list中找连续的数字

    python list使用示例 list中找连续的数字

    这篇文章主要介绍了list中找连续的数字的示例,大家参考使用吧
    2014-01-01
  • 介绍Python的Django框架中的QuerySets

    介绍Python的Django框架中的QuerySets

    这篇文章主要介绍了Python的Django框架中的QuerySets,QuerySet是Django中的一个内置对象列表,经常被用于金沙国际官网操作,需要的朋友可以参考下
    2015-04-04
  • python中如何使用正则表达式的集合字符示例

    python中如何使用正则表达式的集合字符示例

    我们都知道,正则表达式可以很方便地对字符串进行匹配、查找、分割等操作,下面这篇文章主要给大家介绍了关于python中如何使用正则表达式的集合字符的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下。
    2017-10-10
  • 利用Python半自动化生成Nessus报告的方法

    利用Python半自动化生成Nessus报告的方法

    这篇文章主要介绍了利用Python半自动化生成Nessus报告的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-03-03
  • python使用scrapy发送post请求的坑

    python使用scrapy发送post请求的坑

    这篇文章主要介绍了使用scrapy发送post请求的坑,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-09-09
  • 详解Python3注释知识点

    详解Python3注释知识点

    在本篇文章里小编给大家分享了关于Python3注释的相关知识点以及用法,需要的朋友们学习下。
    2019-02-02
  • python3获取url文件大小示例代码

    python3获取url文件大小示例代码

    这篇文章主要介绍了python3获取url文件大小,本文通过示例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • 在Django中创建URLconf相关的通用视图的方法

    在Django中创建URLconf相关的通用视图的方法

    这篇文章主要介绍了在Django中创建URLconf相关的通用视图的方法,Django是Python重多人气框架中最为著名的一个,需要的朋友可以参考下
    2015-07-07
  • pygame游戏之旅 添加icon和bgm音效的方法

    pygame游戏之旅 添加icon和bgm音效的方法

    这篇文章主要为大家详细介绍了pygame游戏之旅的第14篇,教大家如何添加icon和bgm音效,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11

最新评论