- 論壇徽章:
- 0
|
本帖最后由 where27 于 2010-03-15 14:12 編輯
AWK one-line寫的非常之好，前些日子我嘗試翻譯了一下，對(duì)我自己的能力也有了一點(diǎn)提升，最近又看了一下Famous Sed One-Liners Explained，覺得sed的難度比awk有過之而無不及啊，一度非常崩潰，幸好堅(jiān)持了下去，加上一直在cu的shell版塊發(fā)帖子提問，在黑哥等人的幫助下，也算馬馬虎虎看完了，為了造福一下部分像我這種sed菜鳥，我將看過的這些內(nèi)容翻譯一下，請(qǐng)大家批評(píng)指正。謝謝!
先進(jìn)入第一部分：空行，編號(hào)，以及文本轉(zhuǎn)換
開始翻譯之前我想講一下sed程序的執(zhí)行流程，還是舉一個(gè)例子說明吧- #more file
- 123
- 456
- #sed ‘/5/p’ file
- 123
- 456
- 456
- # sed –n ‘/5/p’ file
- 456
Tips:在sed讀入下一行前會(huì)把模式空間清空，所以當(dāng)讀第二行456的時(shí)候，模式空間內(nèi)的123已經(jīng)沒了。
一、 空行
1. 輸出兩倍行距文件這個(gè)例子使用了G命令，這個(gè)命令把緩沖空間的內(nèi)容附加到模式空間，由于沒有命令對(duì)緩沖空間做操作（只有h,H,x三個(gè)命令可以對(duì)緩沖空間做操作），所有緩沖空間的內(nèi)容一直為空，因此只是簡(jiǎn)單的附加了一個(gè)換行符\n在模式空間后面，執(zhí)行完G以后，sed默認(rèn)執(zhí)行打印的動(dòng)作將123\n打印出來，因此輸出的內(nèi)容里面就多了一個(gè)空行。
2. 輸出兩倍行距文件（文件有空行，非空行之間間隔不超過一個(gè)空行）- #more file
- 123
- 456
- #sed ‘/^$/d;G’ file
- 123
- 456
3. 輸出3被行距這個(gè)沒什么好講的，兩次G，也就是附加兩個(gè)回車在文本的后面，打印出來。
4. 只打印奇數(shù)行文本- #more file
- 123
- 456
- 789
- abc
- #sed ‘n;d’ file
- 123
- 789
5. 在匹配正則表達(dá)式/5/的行的前面插入一個(gè)空行- #sed ‘/5/{x;p;x}’ file
- 123
- 456
- 789
Tips：{x;p;x}是一個(gè)命令群組，匹配模式才按順序執(zhí)行他們。
6. 在匹配正則表達(dá)式/5/的行的后面插入一個(gè)空行- #sed ‘/5/G’ file
- 123
- 456
- 789
7. 在匹配正則表達(dá)式/5/所在行的前后兩行都加上一個(gè)空行這個(gè)例子其實(shí)就是5，6的合體，讀入456后，先執(zhí)行x;p打印出空行，然后執(zhí)行x;G,打印出456和空行，也就是在456的前后各有一個(gè)空行。
二、 編號(hào)
8. 給文本的每行編號(hào)，并把行號(hào)放在行的左邊- #sed = file|sed ‘N;s/\n/\t/’
- 1 123
- 2 456
- 3 789
我們來看看這兩個(gè)命令分別執(zhí)行的過程執(zhí)行第一個(gè)sed = file后- #sed = file
- 1
- 123
- 2
- 456
- 3
- 789
- #sed = file | sed 'N; s/^/ /; s/ *\(.\{6,\}\)\n/\1 /'
第二部分讀起來可能有點(diǎn)難懂，我們看一個(gè)例子，為了表達(dá)的更清晰，我們用@來代替\n,用-來代替空格。- # echo "-----12@contents" | sed 's/-*\(.\{6,\}\)@/\1--/'
- ----12--contents
他們提取出來，并保存起來以供后面的\1調(diào)用。首先sed匹配一個(gè)-然后是緊接著的六個(gè)字符----12和@，接著s命令把之前匹配的內(nèi)容替換成\1（也就是之前保存起來的六個(gè)字符----12）和--.最終的結(jié)果就是把”-----12@”變成了”----12”.
10. 只給非空行編號(hào)- #more file
- 123
- 456
- 789
- # sed '/./=' file | sed '/./N; s/\n/ /'
- 1 123
- 2 456
- 4 789
11. 計(jì)算文件的行數(shù)（類似wc –l的作用）這個(gè)sed例子使用了參數(shù)-n去修飾執(zhí)行的動(dòng)作，-n使得在模式空間被處理完后，并不執(zhí)行默認(rèn)的p把模式空間內(nèi)容打印出來，想在在-n參數(shù)下輸出內(nèi)容，只能使用一些命令（=,a,I,i,p,P,c,r,w..etc），這個(gè)例子中，模式部分是$,匹配文件的最后一行，動(dòng)作也=，也就是打印行號(hào)，因此輸出是最后一行的行號(hào)，也就是行的數(shù)量。
三、 文本替換
Sed one-liner中在這里介紹了很多關(guān)于windows格式文本轉(zhuǎn)為unix格式文本，大家要知道在windows下面是用兩個(gè)字符分行即回車+換行，而unix下只有一個(gè)換行，cu里相關(guān)的內(nèi)容有很多，我就不加介紹了。
12. 刪除每行的空白符（包括空格和制表符）- #more file
- 123
- 456
- 789
- #sed ‘s/^[ \t]*//’ file
- 123
- 456
- 789
13. 刪除每行結(jié)尾的空白行這個(gè)也沒什么好講的，匹配行尾有任意個(gè)空白的行，并把空白刪除
14. 同時(shí)刪除行首和行尾的空白- # sed 's/^[ \t]*//;s/[ \t]*$//' file
15. 每行的開頭添加兩個(gè)空白- #more file
- 123
- 456
- 789
- #sed ‘s/^/ /’ file
- 123
- 456
- 789
16. 右對(duì)齊文本（文本寬度為21個(gè)字符）- # sed -e :a -e 's/^.\{1,20\}$/ &/;ta' file
- 123
- 456
- 789
下面來看一下替換命令s/^.\{1,19\}$/ &/,其中^.\{1,19\}$匹配包含1個(gè)或19個(gè)字符的行，后面的&則是代表前一個(gè)模式中的內(nèi)容，也就是.\{1,19\},簡(jiǎn)單說就是，當(dāng)模式空間的內(nèi)容是1個(gè)或19個(gè)字符的時(shí)候，就在模式空間的內(nèi)容前面加上一個(gè)空格，如果前面的循環(huán)大家看的懂的話，就可以可以看懂這個(gè)例子了：就是把每行的內(nèi)容前面加上一個(gè)個(gè)的空白，直到這行的長(zhǎng)度超過了19個(gè)字符，當(dāng)文本寬度是20個(gè)字符的時(shí)候，sed就不再加空格了，直接打印出文本。
類似一個(gè)while循環(huán)- # while (str.length() <= 21) {
- str = " " + str
- }
- # sed -e :a -e 's/^.\{1,20\}$/ & /;ta' file
- 123
- 456
- 789
18. 替換文本每行中第一次出現(xiàn)的1為a- #more file
- 123123123
- 456
- 789
- #sed ‘s/1/a/’ file
- a23123123
- 456
- 789
19. 替換每行出現(xiàn)的第二個(gè)1為a- #sed ‘s/1/a/2’ file
- 123a23123
- 456
- 789
20. 把所有行中的1替換成a- #sed ‘s/1/a/g’ file
- a23a23a23
- 456
- 789
21. 如果一個(gè)行出現(xiàn)了2個(gè)1，則替換第一個(gè)1為a- #more file
- 123123
- 4561
- 789
- #sed ‘s/\(.*\)1\(.*1\)/\1a\2/’ file
- a23123
- 4561
- 789
22. 替換每行中最后一次出現(xiàn)的1為a- #sed ‘s/\(.*\)1/a/’ file
- 123a23
- 4561
- 789
23. 在包含6的行中把所有1都替換成a- #sed ‘/6/s/1/a/g’ file
- 123123
- 456a
- 789
24. 在不含6的行中把所有1都替換成6- #sed ‘/6/!s/1/a/g’ file
- a23a23
- 4561
- 789
25. 替換1或者6或者9為a- #sed ‘s/1/a/g;s/6/a/g;s/9/a/g’ file
- a23a23
- 45aa
- 78a
- #sed ‘s/1|6|9/a/g’ file
- a23a23
- 45aa
- 78a
26. 倒序文本（類似tac的作用）- #more file
- 123
- 456
- 789
- #sed ‘1!G;h;$!d’ file
- 789
- 456
- 123
第一行：1！G的意思是出了第一行其他行都執(zhí)行G，因此跳過，直接到h，把模式空間的內(nèi)容拷到緩沖區(qū)中，緩沖區(qū)中的內(nèi)容是123接著執(zhí)行d，返回到了開頭，繼續(xù)讀下一行456
第二行：第二行可以執(zhí)行G命令，即把緩沖區(qū)123的內(nèi)容附加到模式空間中456的后面，并以\n分隔，因此模式空間的內(nèi)容為456\n123,h后，緩沖區(qū)的內(nèi)容也變成了456\n123,同樣d后，什么都不輸出直接到下一行
第三行：執(zhí)行G，附加緩沖區(qū)的456\n123到789的后面，及模式空間變成789\n456\n123,同時(shí)緩沖區(qū)通過h也變成了789\n456\n123，最后的$!d的意思是最后一行不執(zhí)行d的動(dòng)作，也就是命令到此結(jié)束了，sed默認(rèn)把模式空間的789\n456\n123打印出來，也就是大家看到的結(jié)果了，下面的流程可以幫助大家理解。
讀入文本 命令 模式空間 緩沖空間 打印結(jié)果
123 1!G 123 空 空
h 123 123 空
$!d 空 123 空
456 1!G 456\n123 123 空
h 456\n123 456\n123 空
$!d 空 456\n123 空
789 1!G 789\n456\n123 456\n123 空
h 789\n456\n123 789\n456\n123 空
$!d 789\n456\n123 789\n456\n123 789\n456\n123
最后打印出來的789\n456\n123也就是我們要的結(jié)果了。
另一種寫法- # sed -n '1!G;h;$p' file
- 789
- 456
- 123
指的一提的是，這個(gè)例子會(huì)在執(zhí)行的過程中會(huì)使用大量的內(nèi)存，因?yàn)樗诖蛴〕龅剐虻奈谋局鞍颜麄�(gè)文件的內(nèi)容都保存在緩沖區(qū)里面，所以如果文件的行數(shù)過多的話，還是不要使用這個(gè)語句吧。
27. 翻轉(zhuǎn)每行的內(nèi)容（類似rev的作用）- # sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//' file
- 321
- 654
- 987
- #sed '
- /\n/!G
- s/\(.\)\(.*\n\)/&\2\1/
- //D
- s/.//
- '
/\n/!G:如果模式空間的內(nèi)容不包括\n,把緩沖區(qū)的內(nèi)容附加到模式空間后，以\n分隔，緩沖區(qū)的內(nèi)容為空除非有命令對(duì)其進(jìn)行操作，這樣執(zhí)行過后模式空間的內(nèi)容變成123\n
s/\(.\)\(.*\n\)/&\2\1/：s替換的模式部分包含了2個(gè)字符組，字符組1只包含了1個(gè)任意字符，第二個(gè)字符組包括了剩余的字符和\n,&代表的是前面整個(gè)匹配項(xiàng)，也就是123\n,例如，在執(zhí)行完這個(gè)語句后，模式空間的內(nèi)容123\n就變成了123\n23\n1
//D:這個(gè)語句是整個(gè)sed例子的關(guān)鍵，一個(gè)空的匹配//,表示匹配上一個(gè)出現(xiàn)的正則表達(dá)式，這里也就是/\(.\)\(.*\n\)/D了，D的作用是刪除模式空間中從開始到第一個(gè)\n截止的字符，并從第一個(gè)命令開始重新執(zhí)行sed（不讀到下一行）。實(shí)際上是創(chuàng)建了一個(gè)循環(huán)，也就是只要模式空間的\n前面有一個(gè)字符,就把\n和前面的字符刪除，剩余的內(nèi)容傳遞到第一個(gè)命令繼續(xù)執(zhí)行，只有\(zhòng)n前面沒有字符了，循環(huán)才結(jié)束。
S/.//:意思很簡(jiǎn)單，刪除模式空間的第一個(gè)字符，但是這個(gè)命令執(zhí)行的條件就是D不執(zhí)行，也就是說模式空間中\(zhòng)n前面沒有字符，后面后經(jīng)過翻轉(zhuǎn)后的內(nèi)容，其實(shí)就是把\n給刪除了，接著默認(rèn)sed輸出翻轉(zhuǎn)后的內(nèi)容，還是來看一下流程吧
讀入文本 命令 模式空間 緩沖空間 打印結(jié)果
123 /\n/!G 123\n 空 空
s/\(.\)\(.*\n\)/&\2\1/ 123\n23\n1 空
//D 23\n1 空 空
D執(zhí)行成功，循環(huán)到開頭執(zhí)行/\n/!G
/\n/!G 23\n1 空 空
s/\(.\)\(.*\n\)/&\2\1/ 23\n3\n21 空 空
//D 3\n21 空 空
D執(zhí)行成功，循環(huán)到開頭執(zhí)行/\n/!G
/\n/!G 3\n21 空 空
s/\(.\)\(.*\n\)/&\2\1/ 3\n\n321 空 空
//D \n321 空 空
D執(zhí)行成功，循環(huán)到開頭執(zhí)行/\n/!G
/\n/!G \n321 空 空
s/\(.\)\(.*\n\)/&\2\1 \n321 空 空
//D \n321 空 空
模式不匹配，開始執(zhí)行s/.// 321 空 321
把321打印出來了，累死我了。。
28. 把文本兩行合成一行- #more file
- 123
- 456
- 789
- abc
- #sed ‘$!N;s/\n/ /’ file
- 123 456
- 789 abc
29. 如果行的結(jié)尾是\，就把下一行附加到這一行末尾。- #more file
- 123\
- 456\
- 789
- abc
- #sed –e :a–e ‘/\\$/N;s/\\\n/ /;ta’
- 123 456 789
- abc
Tips：如果沒有這個(gè)循環(huán)的話，就不能檢查每一行的結(jié)尾是否是\.
30. 如果行的開頭是=,就把這行附加到上一行的結(jié)尾。- #more file
- 123
- =456
- =789
- abc
- #sed –e :a –e ‘$!N;s/\n=/ /;ta’ –e ‘P;D’ file
- 123 456 789
- abc
上面的例子中，第一行和第二行第三行之所以連在了一起，就是因?yàn)榈诙泻偷谌惺且?開頭。
31. 將數(shù)字組以千分位的方式分成串- #echo "1234567"|sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta'
- 1,234,567
看看上面的例子，第二個(gè)組里包含的是數(shù)字1234，第二個(gè)組里包含的是567，加上逗號(hào)后變成1234,567
由于替換成功，循環(huán)開始，這次第一個(gè)組里包含的是1，第二個(gè)組里包含的是234，替換過后，1234,567就變成了1,234,567，接著循環(huán)，由于1,234,567中沒有連續(xù)的四個(gè)數(shù)字，所有替換不成立，sed默認(rèn)打印出模式空間的內(nèi)容，也就是1,234,567。
如果sed的版本是gnu的，則可以簡(jiǎn)寫成- #echo "1234567"|sed ':a;s/\B[0-9]\{3\}\>/,&/;ta'
- 1,234,567
32. 每2行加一個(gè)空行- #more file
- 123
- 456
- 789
- abc
- #sed ‘n;G’ file
- 123
- 456
- 789
- abc
GNU版本的sed還有另一種寫法- #sed ‘0~2G’ file
- 123
- 456
- 789
- abc
好了第一部分完成了，加油！ |
|
免費(fèi)注冊(cè)
念章.png "2016科比退役紀(jì)念章
日期:2022-04-24 14:33:24")
發(fā)表于 2010-03-15 14:09
發(fā)表于 2010-03-15 14:26
