python使用BeautifulSoup分析网页信息的方法

 更新时间:2015年04月04日 11:23:30   作者:令狐不聪   我要评论
这篇文章主要介绍了python使用BeautifulSoup分析网页信息的方法,涉及Python使用BeautifulSoup模块分析网页信息的技巧,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了python使用BeautifulSoup分析网页信息的方法。分享给大家供大家参考。具体如下:

这段python代码查找网页上的所有链接,分析所有的span标签,并查找class包含titletext的span的内容

复制代码 代码如下:
#import the library used to query a website
import urllib2

#specify the url you want to query
url = "http://www.python.org"

#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)

#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup

#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)

#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title

#to print the length of the page, use the len function
print len(page)

#create a new variable to store the data you want to find.
tags = soup.findAll('a')

#to print all the links
print tags

#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
print title.contents

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • python实现用户管理系统

    python实现用户管理系统

    这篇文章主要为大家详细介绍了python实现用户管理系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-01-01
  • 分享Python字符串关键点

    分享Python字符串关键点

    字符串是 Python 中最常用的数据类型。我们可以使用引号来创建字符串,通过本篇文章给大家分享python字符串关键点相关资料,感兴趣的朋友一起学习吧
    2015-12-12
  • 从零学Python之引用和类属性的初步理解

    从零学Python之引用和类属性的初步理解

    Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。自从20世纪90年代初Python语言诞生至今,它逐渐被广泛应用于处理系统管理任务和Web编程。Python已经成为最受欢迎的程序设计语言之一。2011年1月,它被TIOBE编程语言排行榜评为2010年度语言。自从2004年以后,python的使用率是呈线性增长。
    2014-05-05
  • Python内置函数的用法实例教程

    Python内置函数的用法实例教程

    这篇文章主要介绍了Python内置函数的用法,包括求绝对值的abs()函数及数值类型转换函数等,需要的朋友可以参考下
    2014-09-09
  • Python实现TCP探测目标服务路由轨迹的原理与方法详解

    Python实现TCP探测目标服务路由轨迹的原理与方法详解

    这篇文章主要介绍了Python实现TCP探测目标服务路由轨迹的原理与方法,结合实例形式分析了Python TCP探测目标服务路由轨迹的原理、实现方法及相关操作注意事项,需要的朋友可以参考下
    2019-09-09
  • python实现随机森林random forest的原理及方法

    python实现随机森林random forest的原理及方法

    本篇文章主要介绍了python实现随机森林random forest的原理及方法,详细的介绍了随机森林的原理和python实现,非常具有参考价值,有兴趣的可以了解一下
    2017-12-12
  • python 系统调用的实例详解

    python 系统调用的实例详解

    这篇文章主要介绍了python 系统调用的实例详解的相关资料,需要的朋友可以参考下
    2017-07-07
  • Python求离散序列导数的示例

    Python求离散序列导数的示例

    今天小编就为大家分享一篇Python求离散序列导数的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • python使用writerows写csv文件产生多余空行的处理方法

    python使用writerows写csv文件产生多余空行的处理方法

    这篇文章主要介绍了python使用writerows写csv文件产生多余空行的处理方法,需要的朋友可以参考下
    2019-08-08
  • python PIL和CV对 图片的读取,显示,裁剪,保存实现方法

    python PIL和CV对 图片的读取,显示,裁剪,保存实现方法

    今天小编就为大家分享一篇python PIL和CV对 图片的读取,显示,裁剪,保存实现方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08

最新评论