求教： 大文本 中 按列去重

liukaiyi

問題描述：
   一個比較大的文本A，按照列去重重復(fù)行

A 內(nèi)容為 :
  name1 pass1
  name2 pass2
  name1 pass3
  name4 pass4
  ......


通過一個shell 腳本,能得到
  name1 pass1
  name2 pass2
  name3 pass4




我這一般都是有 py 或 perl 的 map 來解決。
邏輯是 -- 偽代碼
for line readline( file )
     key,value=line.split('\t')[0],line
     if  not  map has_key key:
         push key , value
     else :
         continue

最后    foreach key,value map : print value

但遇到的問題是 當(dāng)文本夠大 ，這 map 會很占內(nèi)存.  而是要 bsddb 這種內(nèi)存數(shù)據(jù)庫，當(dāng) 內(nèi)存太多 就寫入 文本什么的。有感覺速度不敢恭維（這 io 大文件讀寫入庫太郁悶了）


這一直以來都沒什么好辦法解決，求大蝦 給個方

[ 本帖最后由 liukaiyi 于 2009-7-14 14:16 編輯 ]

liukaiyi

自己頂 ， 大家 幫個忙 啊～

kwokcn

是說name重復(fù)的就只展示第一個？

1. 
   
2. awk '!a[$1]++' URFILE
   

復(fù)制代碼

blackold

1. awk '!a[$1]++' urfile

復(fù)制代碼

文件有多大？要求要多快？

liukaiyi

恩 目前是這樣的
當(dāng)然可以 選擇 更好
比如 ： 使用最后一個 什么的


awk '!a[$1]++' URFILE 能說明下嗎？

kwokcn

使用最后一個就必須得往內(nèi)存里丟更多東西了。
name第一次出現(xiàn)的時(shí)候a[$1]為空，!a[$1]就為真，執(zhí)行默認(rèn)的print，a[$1]自加為1，第二次直到第N次出現(xiàn)，!a[$1]均為假，無操作。
CU常見用法，可默念幾遍加深記憶。

blackold

直接排序呢？沒有測試過。

1. sort -uk 1,1 urfile

復(fù)制代碼

LZ可以測試一下，我沒有大文件。

liukaiyi

原帖由 blackold 于 2009-7-14 14:19 發(fā)表
awk '!a[$1]++' urfile

文件有多大？要求要多快？

上 10G 的樣子 ， 全是日志  。
速度嘛   大概給的時(shí)間 是 小1 小時(shí)

blackold

應(yīng)該沒有問題。

liukaiyi

謝謝大家 這方法我會 都嘗試下  ，運(yùn)行后 時(shí)間對比
可能 過幾天 給大家 了參考了

[ 本帖最后由 liukaiyi 于 2009-7-14 14:30 編輯 ]