如何用SHELL正確分割CSV文件中的列?

nees

好久沒(méi)有搞過(guò)ＳＨＥＬＬ了，最后在用ＳＨＥＬＬ處理ＣＳＶ文件時(shí)遇到一個(gè)問(wèn)題，就是如何正確分割列的問(wèn)題．

如下是ＳＡＭＰＬＥ數(shù)據(jù)：

1,"A","A B","A  C","A,D"

我想將以上SAMPLE數(shù)據(jù)以逗號(hào)分割,得到的結(jié)果如下:

1,
"A",
"A B",
"A  C",
"A,D"

但一直找不到好的方法對(duì)最后一列進(jìn)行正確處理，ＳＨＥＬＬ始終將Ａ與Ｄ間的逗號(hào)也認(rèn)成分割符了，請(qǐng)問(wèn)各位高人如何解決？

wtuter

針對(duì)上面的

sed -r 's/",/&\n/g;s/(,)(")/\1\n\2/g'

blackold

sed 's/,"/,\n"/g'

czcjinu

這個(gè)問(wèn)題好難。我只能用awk來(lái)解，而且解得蠻復(fù)雜的。
處理過(guò)程如下：
1. 確定本列長(zhǎng)度大于0；將本列存到s1，并在最后補(bǔ)上一個(gè)","
2. 如果s1的長(zhǎng)度大于0：
3. 如果s1第一個(gè)字元是引號(hào)（"），則去掉第一個(gè)字元，找到分隔符號(hào)（",），輸出此欄，并自s1中刪除此欄位資料（含結(jié)尾的",）
4. 如果s1第一個(gè)字元不是引號(hào)（"），則找到分隔符號(hào)（,），輸出此欄，并自s1中刪除此欄位資料（含結(jié)尾的,）
5. 再回到步驟2

awk script如下（假設(shè)存在擋案tmp1.awk）：
length($0) > 0 {
  s1 = $0 ",";
  while (length(s1) > 0) {
    c1 = substr(s1, 1, 1);
    if (c1 == "\"") {
      sub(/\"/, "", s1);
      i1 = index(s1, "\",");
      print "\"" substr(s1, 1, i1);
      sub(/^[^\"]*\",/, "", s1);
    } else {
      i1 = index(s1, ",");
      print substr(s1, 1, i1-1);
      sub(/^[^,]*,/, "", s1);
    }
  }
}

以樓主的sample來(lái)執(zhí)行及結(jié)果：
$ echo '1,"A","A B","A  C","A,D"' | awk -f tmp1.awk
1
"A"
"A B"
"A  C"
"A,D"

　

[ 本帖最后由 czcjinu 于 2009-12-1 20:46 編輯 ]

blackold

引號(hào)內(nèi)外問(wèn)題，用sed也可以。

shell版有很多這種例子。

lostwolf

perl -ne 's/,/,\n/g;print' file

ywlscpl

1. awk 'BEGIN{FS=OFS=""}{for (i=1;i<=NF;i++) {if ($i=="\"") T=!T;if (T&&$i==",") $i="@@##"}}1' file >file1
   
2. awk -F, '{for (i=1;i<=NF;i++) gsub(/@@##/,",",$i)} {urcmd...}' file1

復(fù)制代碼

[ 本帖最后由 ywlscpl 于 2009-12-2 10:31 編輯 ]

blackold

如果字段以""包圍(LZ的字段有些是沒(méi)有""包圍)，用awk也不用這么復(fù)雜吧。

1. awk -F '","' -v OFS='"\n"' '{$1=$1;print}'

復(fù)制代碼

blackold

try

echo 'foo,bar,"1,2,3","A","A B","E,F","A  C","A,D"'|awk -F \" -v OFS=\" '{for(i=1;i<=NF;i=i+2) gsub(/,/,"\n",$i);print}'
foo
bar
"1,2,3"
"A"
"A B"
"E,F"
"A  C"
"A,D"

ywlscpl

只是恰好舉了個(gè)全帶" "包圍的例子