請教利用腳本如何實現(xiàn)以下文件的分割

gigisor

我有幾千個文件，每個文件的每一行格式均如下：

文件1：

atno    1    TW    1.0    1.0    1.0
atno    6    TW    1.0    2.0    1.0
atno   11   TW    1.0    1.0    1.0
atno    1    TW    5.0    1.0    3.0
atno    6    TW    5.0    2.0    3.0
atno   11   TW    5.0    1.0    3.0

文件2：

atno    2    TW    1.0    1.0    1.0
atno    8    TW    1.0    2.0    1.0
atno   23   TW    1.0    1.0    1.0
atno    2    TW    5.0    1.0    3.0
atno    8    TW    5.0    2.0    3.0
atno   23   TW    5.0    1.0    3.0

每個文件隔若干行會發(fā)生重復，從上面示例中第二列的數字的重復即可看出，不同文件中第二行數字的序列可能不同，但都是升序，請問有無辦法將所有文件中存在重復行的文件進行分割，例如某一文件名為sse.dat，存在兩個個重復區(qū)域，如上示例，可否將其分化為sse-1.dat sse-2.dat，并刪除sse.dat。先謝過。

elu_ligao

回復 1# gigisor


    你上面有重復行么？ 還是只看第2列或前3列是否有重復？

yestreenstars

有固定周期的可以這樣做，從你提供的數據來看，固定周期為3，所以可以這么做：

1. [root@localhost test]# ls
   
2. sse.dat  test.dat
   
3. [root@localhost test]# head sse.dat test.dat
   
4. ==> sse.dat <==
   
5. atno    1    TW    1.0    1.0    1.0
   
6. atno    6    TW    1.0    2.0    1.0
   
7. atno   11   TW    1.0    1.0    1.0
   
8. atno    1    TW    5.0    1.0    3.0
   
9. atno    6    TW    5.0    2.0    3.0
   
10. atno   11   TW    5.0    1.0    3.0
    
11. 
    
12. ==> test.dat <==
    
13. atno    2    TW    1.0    1.0    1.0
    
14. atno    8    TW    1.0    2.0    1.0
    
15. atno   23   TW    1.0    1.0    1.0
    
16. atno    2    TW    5.0    1.0    3.0
    
17. atno    8    TW    5.0    2.0    3.0
    
18. atno   23   TW    5.0    1.0    3.0
    
19. [root@localhost test]# awk '{s=s?s"\n"$0:$0}!(FNR%3){split(FILENAME,a,".");print s > a[1]"-"++b[FILENAME]"."a[2];s=""}' *
    
20. [root@localhost test]# ls
    
21. sse-1.dat  sse-2.dat  sse.dat  test-1.dat  test-2.dat  test.dat
    
22. [root@localhost test]# head sse-* test-*
    
23. ==> sse-1.dat <==
    
24. atno    1    TW    1.0    1.0    1.0
    
25. atno    6    TW    1.0    2.0    1.0
    
26. atno   11   TW    1.0    1.0    1.0
    
27. 
    
28. ==> sse-2.dat <==
    
29. atno    1    TW    5.0    1.0    3.0
    
30. atno    6    TW    5.0    2.0    3.0
    
31. atno   11   TW    5.0    1.0    3.0
    
32. 
    
33. ==> test-1.dat <==
    
34. atno    2    TW    1.0    1.0    1.0
    
35. atno    8    TW    1.0    2.0    1.0
    
36. atno   23   TW    1.0    1.0    1.0
    
37. 
    
38. ==> test-2.dat <==
    
39. atno    2    TW    5.0    1.0    3.0
    
40. atno    8    TW    5.0    2.0    3.0
    
41. atno   23   TW    5.0    1.0    3.0
    
42. [root@localhost test]#

復制代碼

關陰月飛

gigisor 發(fā)表于 2013-11-05 06:14
我有幾千個文件，每個文件的每一行格式均如下：
"每個文件隔若干行會發(fā)生重復，從上面示例中第二列的數字的重復即可看出"
文件1：

把重復的規(guī)則和可能出現(xiàn)的情況都弄清楚了，才好下手， 一個文件中只會存在一對重復內容，還是不確定？ 每對重復的內容都是相鄰的么？

yestreenstars

回復 4# 關陰月飛
樓主給的數據太少，確實不好下手，我也只好碰碰運氣了~

   

gigisor

先謝過樓上各位，不好意思給出的信息不夠完善，現(xiàn)補充如下：

一個文件中存在的重復內容數量不確定，有的可能完全沒重復，有的可能有一對，有的可能有50對。

如果出現(xiàn)重復，每對重復的內容都是相鄰的。

一節(jié)重復的內容按照第二列數字大小升序逐行排列。

上述示例可改為：

文件1：

atno    1    TW    1.0    1.0    1.0
atno    6    TW    1.0    2.0    1.0
atno   11   TW    1.0    1.0    1.0
atno   18   TW    1.0    1.0    2.0
atno    1    TW    5.0    1.0    3.0
atno    6    TW    5.0    2.0    3.0
atno   11   TW    5.0    1.0    3.0
atno   18   TW    1.0    1.0    2.0

文件2：

atno    2    TW    1.0    1.0    1.0
atno    8    TW    1.0    2.0    1.0
atno   23   TW    1.0    1.0    1.0
atno    2    TW    5.0    1.0    3.0
atno    8    TW    5.0    2.0    3.0
atno   23   TW    5.0    1.0    3.0

我想這樣就比較清楚了。

yestreenstars

回復 6# gigisor
感覺還是說得不是很清楚，有沒有可能是這種情況？
1
2
3
1
2
3
A
B
A
B
樓主給多點數據，數據越多，寫的腳本才能更匹配~
   

li0924

看我的可以達到要求不？？

1. awk 'BEGIN{b=1}{split(FILENAME,a,".")}{if(c>$2){close(a[1]"-"b"."a[2]);++b}c=$2;print > a[1]"-"b"."a[2]}' infile

復制代碼

seesea2517

有沒有可能出現(xiàn)這樣的情況？即每四行重復一次，但每四行的第一二行是一樣的？

1. atno    1    TW    1.0    1.0    1.0
   
2. atno    1    TW    1.0    1.0    1.0
   
3. atno    6    TW    1.0    2.0    1.0
   
4. atno   11   TW    1.0    1.0    1.0
   
5. atno    1    TW    5.0    1.0    3.0
   
6. atno    1    TW    1.0    1.0    1.0
   
7. atno    6    TW    5.0    2.0    3.0
   
8. atno   11   TW    5.0    1.0    3.0

復制代碼

rdcwayx

可能就是這么個簡單的意思吧。

1. awk '{if ($2<n) i++;n=$2;print >FILENAME "_" i+1}' *.dat

復制代碼

碰到有$2 比前一行小，就輸出到一個新的文件。