python習(xí)題:去除文件中的重復(fù)行

redflowflag

                去除文件中的重復(fù)行，前提：文件已經(jīng)經(jīng)過排序
               
                #!/usr/bin/env python
#去除重復(fù)行
import sys
import os
def printUsage():
    print("Usage: python uniq.py sourcefile ")
def printFileNotExist():
    print(":( Sorry, File " , sys.argv[1], " does not exist!")
def uniqFile(filename):
    fp = open(filename,"r")
    preline = '';
    for line in fp:
        line.strip()
        if line == preline:
            continue
        print(line,end="")
        preline = line   
   
if __name__ == "__main__":
    if len(sys.argv) != 2:
        printUsage()
        exit()
    if not os.path.isfile(sys.argv[1]):
        printFileNotExist()
        exit()
    uniqFile(sys.argv[1])


本文來自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u/23094/showart_2092498.html

wzlxx_

你這個(gè)只能去掉相鄰的兩行重復(fù)

scrit

他說了有個(gè)前提，文件經(jīng)過排序了
不過想了解下，如果沒經(jīng)過排序呢
最近剛開始學(xué)習(xí)perl

wjsgsb

我這也有個(gè)方法，使用set

1. ＃ 打開文件
   
2. f = open('e:\\asd.txt')
   
3. 
   
4. ＃ 重復(fù)行只保留一條記錄 并且打印
   
5. print '\n'.join(set([line.strip() for line in f]))

復(fù)制代碼

飛翔的塵埃

LS正解

gonglq123

好NB啊
回復(fù) 4# wjsgsb


   

sageskr

小文件無所謂，可以直接讀入多行，如果是超大型文件，你無法一次讀入呢，所以建議還是要先排序。
考慮的要通用些。所以樓主的解還是對(duì)的。
只說思路，
可以把大型文件根據(jù)首字母進(jìn)行拆分，如果文件仍然很大，按照第二個(gè)字母進(jìn)行拆分。拆分到100MB以內(nèi)，然后一次讀入，用set。不曉得這樣好不好。