python 大文件去重問題

yhizyh

今天遇到一個(gè)問題，處理幾個(gè)大文件，1個(gè)文件為2G ，1個(gè)文件大小為  4G，我看了一下里面數(shù)據(jù)條數(shù)是129115369 條，現(xiàn)在這些數(shù)據(jù)有很多都是重復(fù)的，不是逐行重復(fù)，不一定那條和那條重復(fù)，我要去掉重復(fù)數(shù)據(jù)，可是用了set 、sort都不能正常處理這個(gè)文件，肯定不是我程序的問題，同樣內(nèi)容的文件我處理800-900M都可以，就是2個(gè)特大的處理不了。所以請(qǐng)教一下對(duì)于這種特大文件有什么辦法沒有。謝謝了

-rw-rw-r-- 1 root root 2.7G 11月 20 21:24 f10.txt
-rw-rw-r-- 1 root root 4.6G 11月 20 22:40 f11.txt
-rw-rw-r-- 1 root root  65M 11月 20 20:33 f6.txt
-rw-rw-r-- 1 root root 218M 11月 20 20:34 f7.txt
-rw-rw-r-- 1 root root 604M 11月 20 20:38 f8.txt
-rw-rw-r-- 1 root root 1.4G 11月 20 20:51 f9.txt
-rw-r----- 1 root root  838 11月 20 22:50 RemoveSimilar.py

目前就是兩個(gè)最大的文件處理不了。
通過list(set())方法處理的部分代碼

1. def modi_File(filename):
   
2.     sFile="out/"+filename
   
3.     oFile="out1/"+filename
   
4.     fp = file(sFile,"r")
   
5.     lines = fp.readlines()
   
6.     fp.close()
   
7.     index =0
   
8.     count =len(lines)
   
9.     while index<count:
   
10.         lines[index]=lines[index].strip("\n")
    
11.         index +=1
    
12.     flines=list(set(lines))
    
13.     fp_w=file(oFile,"w")
    
14.     count=0
    
15.     for line in flines:
    
16.         fp_w.write(str(line)+"\n")
    
17.         count +=1
    
18.     fp_w.write("數(shù)據(jù)總量：%s"%count)
    
19.     fp_w.close()

復(fù)制代碼

substr函數(shù)

我是小白
還請(qǐng)前輩多多指導(dǎo)。

1. #!/usr/bin/python2
   
2. # coding: utf-8
   
3. 
   
4. 
   
5. def modi (filename):
   
6.     IN    = '/tmp/' + filename        # "out/" + filename
   
7.     OUT   = '/tmp/' + '_' + filename  # "out1/" + filename
   
8.     fhi   = open (IN)
   
9.     fho   = open (OUT, 'w')
   
10.     uniq  = set ()
    
11.     count = 0
    
12. 
    
13.     for line in fhi:
    
14.         if line in uniq: continue
    
15.         uniq.add (line)
    
16.         count += 1
    
17.         fho.write (line)
    
18. 
    
19.     fho.write ("數(shù)據(jù)總量：%s" % count)
    
20.     fhi.close ()
    
21.     fho.close ()
    
22. 
    
23. 
    
24. modi ('xyz')
    

復(fù)制代碼

yhizyh

回復(fù) 2# substr函數(shù)


    太棒了，上次也是麻煩您了。非常感謝。

Hadron74

回復(fù) 1# yhizyh
這樣的問題，不用編程，用UNIX命令

1. cat filename | sort | uniq

復(fù)制代碼

mswsg

問題出在這一行代碼上

1. lines = fp.readlines()

復(fù)制代碼