python抓取最新博客内容并生成Rss

 更新时间:2015年05月17日 12:02:44   投稿:hebedich   我要评论
本文给大家分享的是使用python抓取最新博客内容并生成Rss的代码,主要用到了PyRSS2Gen方法,非常的简单实用,有需要的小伙伴可以参考下。

osc的rss不是全文输出的,不开心,所以就有了python抓取osc最新博客生成Rss

# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup
import urllib2
import datetime
import time
import PyRSS2Gen
from email.Utils import formatdate
import re
import sys
import os
reload(sys)
sys.setdefaultencoding('utf-8')
class RssSpider():
 def __init__(self):
 self.myrss = PyRSS2Gen.RSS2(title='OSChina',
link='http://my.oschina.net',
description=str(datetime.date.today()),
pubDate=datetime.datetime.now(),
 lastBuildDate = datetime.datetime.now(),
items=[]
)
self.xmlpath=r'/var/www/myrss/oschina.xml'
self.baseurl="http://www.oschina.net/blog"
 #if os.path.isfile(self.xmlpath):
#os.remove(self.xmlpath)
 def useragent(self,url):
 i_headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) 
 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36", 
"Referer":''}
 req = urllib2.Request(url, headers=i_headers)
 html = urllib2.urlopen(req).read()
 return html
 def enterpage(self,url):
 pattern = re.compile(r'd{4}Sd{2}Sd{2}sd{2}Sd{2}')
rsp=self.useragent(url)
soup=BeautifulSoup(rsp)
timespan=soup.find('div',{'class':'BlogStat'})
timespan=str(timespan).strip().replace('n','').decode('utf-8')
match=re.search(r'd{4}Sd{2}Sd{2}sd{2}Sd{2}',timespan)
timestr=str(datetime.date.today())
 if match:
timestr=match.group()
 #print timestr
ititle=soup.title.string
div=soup.find('div',{'class':'BlogContent'})
rss=PyRSS2Gen.RSSItem(
title=ititle,
link=url,
 description = str(div),
 pubDate = timestr
)
 return rss
 def getcontent(self):
rsp=self.useragent(self.baseurl)
soup=BeautifulSoup(rsp)
ul=soup.find('div',{'id':'RecentBlogs'})
 for li in ul.findAll('li'):
div=li.find('div')
 if div is not None:
alink=div.find('a')
 if alink is not None:
link=alink.get('href')
 print link
html=self.enterpage(link)
self.myrss.items.append(html)
 def SaveRssFile(self,filename):
finallxml=self.myrss.to_xml(encoding='utf-8')
file=open(self.xmlpath,'w')
file.writelines(finallxml)
file.close()

if __name__=='__main__':
rssSpider=RssSpider()
rssSpider.getcontent()
rssSpider.SaveRssFile('oschina.xml')

以上所述就是本文的全部内容了,希望大家能够喜欢。

相关文章

  • Python如何通过subprocess调用adb命令详解

    Python如何通过subprocess调用adb命令详解

    python可以说是写一些小脚本的利器语法简单,做为最著名的就“胶水语言”用它来写一些命令脚本非常的方便。下面这篇文章主要给大家介绍了关于Python如何通过subprocess调用adb命令的相关资料,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-08-08
  • 浅谈python可视化包Bokeh

    浅谈python可视化包Bokeh

    这篇文章主要介绍了浅谈python可视化包Bokeh,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
    2018-02-02
  • Python和JavaScript间代码转换的4个工具

    Python和JavaScript间代码转换的4个工具

    JavaScript 已经成为众多其它编程语言争相选择的转换目标(相关实例包括 TypeScript、Emscripten、Cor 以及 Cheerp)。而 Python 则拥有庞大的追随者群体,另外现有的强大库资源则使其成为面向 JavaScript 的理想待转换或者说转译选项
    2016-02-02
  • python实现Excel文件转换为TXT文件

    python实现Excel文件转换为TXT文件

    这篇文章主要为大家详细介绍了python实现Excel文件转换为TXT文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-04-04
  • opencv实现静态手势识别 opencv实现剪刀石头布游戏

    opencv实现静态手势识别 opencv实现剪刀石头布游戏

    这篇文章主要为大家详细介绍了opencv实现静态手势识别,opencv实现剪刀石头布游戏,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • python脚本实现xls(xlsx)转成csv

    python脚本实现xls(xlsx)转成csv

    这篇文章主要介绍了python脚本实现xls(xlsx)转成csv的相关资料,需要的朋友可以参考下
    2016-04-04
  • Python性能优化的20条建议

    Python性能优化的20条建议

    不论什么语言我们都需要注意性能优化问题,提高执行效率,这里就为大家分享下Python的性能优化技巧,需要的朋友可以参考下
    2014-10-10
  • Python 中 function(#) (X)格式 和 (#)在Python3.*中的注意事项

    Python 中 function(#) (X)格式 和 (#)在Python3.*中的注意事项

    这篇文章主要介绍了Python 中 function(#) (X)格式 和 (#)在Python3.*中的注意事项,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-11-11
  • Python中用altzone()方法处理时区的教程

    Python中用altzone()方法处理时区的教程

    这篇文章主要介绍了Python中用altzone()方法处理时区的教程,是Python入门中的基础知识,需要的朋友可以参考下
    2015-05-05
  • python实现杨氏矩阵查找

    python实现杨氏矩阵查找

    这篇文章主要为大家详细介绍了Python实现杨氏矩阵查找,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-03-03

最新评论