亚洲av乱码一区二区三区按摩,体验区试看120秒啪啪免费

yinyuemi

大富大貴

論壇徽章:: 2

15-16賽季CBA聯(lián)賽之上海
日期:2016-03-03 10:27:14

電梯直達

1樓 [收藏(0)] [報告]

發(fā)表于 2011-04-30 08:42 |只看該作者 |倒序瀏覽

本帖最后由 yinyuemi 于 2011-06-26 00:29 編輯

在文本處理的工作中，awk的數(shù)組是必不可少的工具，在這里，同樣以總結經(jīng)驗和教訓的方式和大家分享下我的一些學習心得，如有錯誤的地方，請大家指正和補充。

awk的數(shù)組，一種關聯(lián)數(shù)組（Associative Arrays），下標可以是數(shù)字和字符串。因無需對數(shù)組名和元素提前聲明，也無需指定元素個數(shù) ，所以awk的數(shù)組使用非常靈活。
首先介紹下幾個awk數(shù)組相關的知識點：

<1>建立數(shù)組

array[index] = value ：數(shù)組名array，下標index以及相應的值value。

復制代碼

<2>讀取數(shù)組值

{ for (item in array) print array[item]} # 輸出的順序是隨機的
{for(i=1;i<=len;i++) print array[i]} # Len 是數(shù)組的長度

復制代碼

<3>多維數(shù)組，array[index1,index2,……]：SUBSEP是數(shù)組下標分割符，默認為“\034”�？梢允孪仍O定SUBSEP，也可以直接在SUBSEP的位置輸入你要用的分隔符，如：

awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
a:b
awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
a:b

復制代碼

但，有些特殊情況需要避免，如：

awk 'BEGIN{
SUBSEP=":"
array["a","b:c"]=1 # 下標為“a:b:c”
array["a:b","c"]=2 #下標同樣是“a:b:c”
for (i in array) print i,array[i]}'
a:b:c 2 #所以數(shù)組元素只有一個。

復制代碼

<4>刪除數(shù)組或數(shù)組元素：使用delete 函數(shù)

delete array #刪除整個數(shù)組
delete array[item] # 刪除某個數(shù)組元素（item）

復制代碼

<5> 排序：awk中的asort函數(shù)可以實現(xiàn)對數(shù)組的值進行排序，不過排序之后的數(shù)組下標改為從1到數(shù)組的長度。在gawk 3.1.2以后的版本還提供了一個asorti函數(shù)，這個函數(shù)不是依據(jù)關聯(lián)數(shù)組的值，而是依據(jù)關聯(lián)數(shù)組的下標排序，即asorti(array)以后，仍會用數(shù)字（1到數(shù)組長度）來作為下標，但是array的數(shù)組值變?yōu)榕判蚝蟮脑瓉淼南聵耍悄阒付硪粋€參數(shù)如:asorti(a,b)。（非常感謝lionfun對asorti的指正和補充）

echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a);for(i=1;i<=l;i++)print a[i]}'
aa
bb
cc
echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]}'
aa 2
bb 2
cc 1

復制代碼

下面說awk數(shù)組的實際應用。

1. 除去重復項, 這個不多說, 只給出代碼：

awk '!a[$0]++' file(s)
awk '!($0 in a){a[$0];print}' file(s)

復制代碼

另一種：http://www.72891.cn/thread-1859344-1-1.html

2. 計算總數(shù)（sum），如：

awk '{name[$0]+=$1};END{for(i in name) print i, name[i]}'
再舉個例子：
echo "aaa 1
aaa 1
ccc 1
aaa 1
bbb 1
ccc 1" |awk '{a[$1]+=$2}END{for(i in a) print i,a[i]}'
aaa 3
bbb 1
ccc 2

復制代碼

3. 查看文件差異。

cat file1
aaa
bbb
ccc
ddd
cat file2
aaa
eee
ddd
fff

復制代碼

<1> 合并file1和file2，除去重復項：

awk 'NR==FNR{a[$0]=1;print} #讀取file1，建立數(shù)組a，下標為$0，并賦值為1，然后打印
NR>FNR{ #讀取file2
if(!(a[$0])) {print } #如果file2 的$0不存在于數(shù)組a中，即不存在于file1，則打印。
}' file1 file2
aaa
bbb
ccc
ddd
eee
fff

復制代碼

<2> 提取文件1中有，但文件2中沒有：

awk 'NR==FNR{a[$0]=1} #讀取file2，建立數(shù)組a，下標為$0，并賦值為1
NR>FNR{ #讀取file1
if(!(a[$0])) {print } #如果file1 的$0不存在于數(shù)組a中，即不存在于file2，則打印。
}' file2 file1
bbb
ccc

復制代碼

另：http://www.72891.cn/viewthr ... &page=1#pid15547885

4. 排序：

echo "a
1
0
b
2
10
8
100" |
awk '{a[$0]=$0} #建立數(shù)組a，下標為$0，賦值也為$0
END{
len=asort(a) #利用asort函數(shù)對數(shù)組a的值排序，同時獲得數(shù)組長度len
for(i=1;i<=len;i++) print i "\t"a[i] #打印
}'
1 0
2 1
3 2
4 8
5 10
6 100
7 a
8 b

復制代碼

5. 有序輸出：采用（index in array）的方式打印數(shù)組值的順序是隨機的，如果要按原序輸出，則可以使用下面的方法：http://bbs2.chinaunix.net/viewthread.php?tid=1811279

awk '{a[$1]=$2
c[j++]=$1}
END{
for(m=0;m<j;m++)print c[m],a[c[m]]
}'

復制代碼

6. 多個文本編輯：這里主要指的是待處理的文本之間的格式上有區(qū)別，如分隔符不同，；或是待處理文本需提取的信息的位置不同，如不同的列或行。
<例1>：

cat file1
g1.1 2
g2.2 4
g2.1 5
g4.1 3
cat file2
g1.1 2
g1.2 3
g4.1 4
cat file3
g1.2 3
g5.1 3

復制代碼

要求輸出：

g1.1 2 2 -
g1.2 - 3 3
g2.2 4 - -
g2.1 5 - -
g4.1 3 4 -
g5.1 - - 3

復制代碼

實現(xiàn)代碼如下：

awk '{a[ARGIND" "$1]=$2 # ARGIND是當前命令行文件的位置（從0開始），將它和第一列的value作為下標，建立數(shù)組a。
b[$1] #將第一列的value作為下標，建立數(shù)組b，目的是在讀完所有文件之后，能得到第一列value的uniqe-list。
}
END{
for(i in b) {
printf i" "
for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-" #此時的ARGIND值為3.
print ""
}
}' file1 file2 file3

復制代碼

這里是利用awk的內置變量ARGIND來處理完成對文件的處理。關于ARGIND，ARGV，ARGC的使用，大家可以參考：http://www.72891.cn/viewthr ... 0335&from=favorites。
當然，我們也可以利用另外一個內置變量FILENAME來完成相同的任務（大家可以先想想怎么寫），如下：

awk '{a[FILENAME" "$1]=$2;b[$1];c[FILENAME]}END{for(i in b) {printf i" ";for(j in c) printf "%s ", a[j" "i]?a[j" "i]:"-";print""}}' file1 file2 file3

復制代碼

<例2>：對上面的數(shù)據(jù)的格式稍作改動，每個文件的分隔符都一樣的情況，但輸出要求不變：

cat file1
g1.1|2
g2.2|4
g2.1|5
g4.1|3
cat file2
g1.1#2
g1.2#3
g4.1#4
cat file3
g1.2@3
g5.1@3

復制代碼

實現(xiàn)代碼如下：

awk '{a[ARGIND" "$1]=$2
b[$1]
}
END{
for(i in b) {
printf i" "
for(j=2;j<=ARGIND;j+=2) printf "%s ", a[j" "i]?a[j" "i]:"-" # 由于FS的設置也是有對應ARGIND值，所以對ARGIND稍作改動。
print ""
}
}' FS="|" file1 FS="#" file2 FS="@" file3 # 對每個文件分別設置FS的值。

復制代碼

因為這個例子的數(shù)據(jù)比較簡單，我們也可以在BEGIN模塊中完成對FS值設置，如下：

awk 'BEGIN{FS="[|#@]"}{a[ARGIND" "$1]=$2; b[$1]}END{for(i in b) {printf i" ";for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-"; print ""}}' file1 file2 file3

復制代碼

利用FILENAME 同樣可以解決問題：

awk '
FILENAME=="file1"{FS="|"} # 設置FS
FILENAME=="file2"{FS="#"} #設置FS
FILENAME=="file3"{FS="@"} #設置FS
# 稍顯繁瑣，不過一目了然
{$0=$0} #使FS生效。
{a[ARGIND" "$1]=$2; b[$1]}
END{ for(i in b) {printf i" "; for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-"; print ""}
}' file1 file2 file3

復制代碼

推薦一個關于數(shù)組處理文件的帖子http://www.chinaunix.net/jh/24/577044.html ，里面有不少例子供大家學習。

7. 文本翻轉或移位：二維或多維數(shù)組的應用
<例1>：

Inputfile
1 2 3 4 5 6
2 3 4 5 6 1
3 4 5 6 1 2
4 5 6 1 2 3
Outputfile
4 3 2 1
5 4 3 2
6 5 4 3
1 6 5 4
2 1 6 5
3 2 1 6
awk '{
if (max_nf < NF)
max_nf = NF # 數(shù)組第一維的長度
max_nr = NR # 數(shù)組第二維的長度
for (x = 1; x <= NF; x++)
vector[x, NR] = $x #建立數(shù)組vector
}
END {
for (x = 1; x <= max_nf; x++) {
for (y = max_nr; y >= 1; --y)
printf("%s ", vector[x, y])
printf("\n")
}
}'

復制代碼

<例2>：來自http://www.72891.cn/viewthr ... &page=1#pid13339226
有兩個文本a和b，要求輸出c文本，合并的規(guī)則是按照第一行的headline（按字母順序）合并文本a和b，空缺按“0”補齊。

cat a.txt
a b c d
1 2 9 7
4 5 8 9
5 3 6 1
cat b.txt
a e f d g
9 2 4 7 3
4 3 7 9 4
cat c.txt
a b c d e f g
1 2 9 7 0 0 0
4 5 8 9 0 0 0
5 3 6 1 0 0 0
9 0 0 7 2 4 3
4 0 0 9 3 7 4

復制代碼

下面我們來參看并解讀下Tim大師的代碼：

awk '
FNR==1{ #FNR==1，即a和b文本的第一行，這個用的真的很巧妙。
for(i=1;i<=NF;i++){
b[i]=$i #讀取文本的每個元素存入數(shù)組b
c[$i]++} #另建立數(shù)組c，并統(tǒng)計每個元素的個數(shù)
next #可以理解為，讀取FNR!=1的文本內容。
}
{k++ # 統(tǒng)計除去第一行的文本行數(shù)
for(i=1;i<=NF;i++)a[k","b[i]]=$i #利用一個二維數(shù)組來保持每個數(shù)字的位置， k，b[i]可以理解為每個數(shù)字的坐標。
}
END{
l=asorti(c) #利用asorti函數(shù)對數(shù)組的下標進行排序，并獲取數(shù)組長度，即輸出文件的列數(shù)(NF值)
for(i=1;i<=l;i++)printf c[i]" " # 先打印第一行，相當于headline。
print ""
for(i=1;i<=k;i++){
for(j=1;j<=l;j++)printf a[i","c[j]]?a[i","c[j]]" ":"0 " # 打印二維數(shù)組的值。
print ""}
}' a.txt b.txt

復制代碼

8. 選擇性打�。�
打印某個關鍵字前幾行，以3行為例：

seq 20 |awk '/\<10\>/{for(i=NR-3;i<NR;i++)print a[i%3];exit}{a[NR%3]=$0}'
7
8
9

復制代碼

利用NR取余數(shù)，建立數(shù)組，這是一種非常高效的代碼。

9. 通過split函數(shù)建立數(shù)組：數(shù)組的下標為從1開始的數(shù)字。

split(s, a [, r]) # s：string， a：array name，[,r]：regular expression。
echo 'abcd' |awk '{len=split($0,a,"");for(i=1;i<=len;i++) print "a["i"] = " a[i];print "length = " len}'
a[1] = a
a[2] = b
a[3] = c
a[4] = d
length = 4

復制代碼

10． awk數(shù)組使用的小技巧和需要避免的用法：

<1> 嵌套數(shù)組：