Python实现字典去除重复的方法示例

 更新时间:2017年07月31日 12:15:56   作者:无法自拔   我要评论
这篇文章主要介绍了Python实现字典去除重复的方法,涉及Python字典遍历、文件读取、去除重复等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现字典去除重复的方法。分享给大家供大家参考,具体如下:

#!/usr/bin/env python
# encoding: utf-8
#字典去重小代码
import sys
import os
import platform
try:
  pass 
except:
  print '''you have something wrong this is a simple jiaoben '''
  sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
  if(i>=1):
    other = sys.argv[i]
    if os.path.exists(other):
      pass
    else:
      print other + ' file not find'
      sys.exit()
    if 'Windows' in platform.system():
      os.system("type "+other+" >> "+why)
    else:
      os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
  if line == '' or line == '\r\n':
    pass
  else:
    dirc.writelines(line)

很简单的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等

PS:本站还有两款比较简单实用的在线文本去重复工具,推荐给大家使用:

在线去除重复项工具:
http://tools.sxglgf.com/code/quchong

在线文本去重复工具:
http://tools.jb51.net/aideddesign/txt_quchong

更多关于Python相关内容可查看本站专题:《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • Python 如何优雅的将数字转化为时间格式的方法

    Python 如何优雅的将数字转化为时间格式的方法

    这篇文章主要介绍了Python 如何优雅的将数字转化为时间格式的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • 使用python3构建文件传输的方法

    使用python3构建文件传输的方法

    今天小编就为大家分享一篇使用python3构建文件传输的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • python去掉字符串中重复字符的方法

    python去掉字符串中重复字符的方法

    这篇文章主要介绍了python去掉字符串中重复字符的方法,需要的朋友可以参考下
    2014-02-02
  • Python检测网站链接是否已存在

    Python检测网站链接是否已存在

    Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。通过本文给大家介绍Python检测网站链接是否已存在的相关内容,需要的朋友一起学习吧
    2016-04-04
  • Python 编码处理-str与Unicode的区别

    Python 编码处理-str与Unicode的区别

    本文主要介绍Python 编码处理的问题,这里整理了相关资料,并详细说明如何处理编码问题,有需要的小伙伴可以参考下
    2016-09-09
  • python利用numpy存取文件的方式

    python利用numpy存取文件的方式

    NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。这篇文章主要介绍了python利用numpy存取文件,需要的朋友可以参考下
    2019-09-09
  • python pandas获取csv指定行 列的操作方法

    python pandas获取csv指定行 列的操作方法

    这篇文章主要介绍了pandas获取csv指定行,列的操作方法,本文简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • python查询sqlite数据表的方法

    python查询sqlite数据表的方法

    这篇文章主要介绍了python查询sqlite数据表的方法,涉及Python操作SQLite金沙国际官网的基本技巧,需要的朋友可以参考下
    2015-05-05
  • Python 变量类型详解

    Python 变量类型详解

    变量可以指定不同的数据类型,这些变量可以存储整数,小数或字符。这篇文章主要介绍了Python 变量类型详解,需要的朋友可以参考下
    2018-10-10
  • python+selenium识别验证码并登录的示例代码

    python+selenium识别验证码并登录的示例代码

    本篇文章主要介绍了python+selenium识别验证码并登录的示例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-12-12

最新评论