介紹幾個(gè)處理 JSON 文件的利器

rdcwayx

不清楚這個(gè)壇子里用到j(luò)son的多不多。 有現(xiàn)成的perl/python模塊可用，可以優(yōu)先考慮。如果考慮用 shell/awk/sed 來提取json文件里的信息的話，可以，但是比較費(fèi)時(shí)費(fèi)力。這里我推薦幾個(gè)工具 （部分就是用shell/awk/sed寫的），如果你碰上類似的JSON文件處理的話，可以省去很多時(shí)間。

先來看一下JSON 文件格式，看這里的介紹
http://en.wikipedia.org/wiki/JSON

json首頁也有很多介紹：
http://json.org/

1. JSON(JavaScript Object Notation) 是一種輕量級的數(shù)據(jù)交換格式。 易于人閱讀和編寫。同時(shí)也易于機(jī)器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一個(gè)子集。 JSON采用完全獨(dú)立于語言的文本格式，但是也使用了類似于C語言家族的習(xí)慣（包括C, C++, C#, Java, JavaScript, Perl, Python等）。 這些特性使JSON成為理想的數(shù)據(jù)交換語言。

復(fù)制代碼

這篇文章有中文介紹http://tjbmx0987.iteye.com/blog/225755

貼出個(gè)典型的例子，后面會(huì)用上：

sample1.json

1. {
   
2.     "firstName": "John",
   
3.     "lastName": "Smith",
   
4.     "age": 25,
   
5.     "address": {
   
6.         "streetAddress": "21 2nd Street",
   
7.         "city": "New York",
   
8.         "state": "NY",
   
9.         "postalCode": 10021
   
10.     },
    
11.     "phoneNumbers": [
    
12.         {
    
13.             "type": "home",
    
14.             "number": "212 555-1234"
    
15.         },
    
16.         {
    
17.             "type": "fax",
    
18.             "number": "646 555-4567"
    
19.         }
    
20.     ]
    
21. }

復(fù)制代碼

JSON 的格式可以通過一些在線工具審核，因?yàn)槿绻麑懙貌徽�確的話，后面介紹的處理工具可能會(huì)出錯(cuò)。

http://jsonlint.com/
http://www.freeformatter.com/json-validator.html

rdcwayx

第一個(gè)利器：
1. JQ

http://stedolan.github.io/jq/
具體怎么安裝我就不介紹了，網(wǎng)頁上都有， 從下面的例子可以大致了解一下這個(gè)工具的用途，比如：

1. 
   
2. # 查詢 firstName
   
3. $ jq '.firstName' sample1.json     
   
4. "John"

復(fù)制代碼

1. # 查詢 age 以及 第二個(gè)電話號(hào)碼
   
2. $ jq '.age , .phoneNumbers[1]' sample1.json   
   
3. 25
   
4. {
   
5.   "number": "646 555-4567",
   
6.   "type": "fax"
   
7. }
   

復(fù)制代碼

1. 查詢符合家庭（home）的電話號(hào)碼（phoneNumbers）
   
2. $ jq '.phoneNumbers[]|select (.type=="home")' sample1.json   
   
3. {
   
4.   "number": "212 555-1234",
   
5.   "type": "home"
   
6. }

復(fù)制代碼

還有很多方法，自己 man一下吧。

rdcwayx

第二個(gè)利器

jsawk (jsawk: It's like awk for JSON, in bash.)

主頁： https://github.com/micha/jsawk

安裝：

1. curl -L http://github.com/micha/jsawk/raw/master/jsawk > jsawk
   
2. chmod 755 jsawk && mv jsawk ~/bin/

復(fù)制代碼

jsawk是個(gè)腳本文件，一千多行。如果你有興趣和時(shí)間的話，可以閱讀一下jsawk的內(nèi)容，或許還能在里面挑錯(cuò)或者提出改進(jìn)意見。

1. $ wc -l jsawk
   
2. 1327 jsawk

復(fù)制代碼

但在用這個(gè)腳本前，要先安裝js

1. apt-get install spidermonkey-bin

復(fù)制代碼

否則運(yùn)行jsawk時(shí)會(huì)有報(bào)錯(cuò)：  "js: command not found"

開始舉例：

1. ＃取一個(gè)屬性
   
2. $ jsawk 'return this.firstName' < sample1.json
   
3. John
   
4. # 取多個(gè)屬性
   
5. $ jsawk -n 'out(this.firstName,this.lastName)' < sample1.json
   
6. ["John","Smith"]

復(fù)制代碼

1. ＃將年齡增加一歲 （這個(gè)功能比上面介紹的jq要強(qiáng)大很多）。
   
2. $ jsawk 'this.age++' < sample1.json
   
3. {"firstName":"John","lastName":"Smith","age":26,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}

復(fù)制代碼

1. # 返回年齡小于30歲的名字
   
2. $ jsawk 'if (this.age <= 30) return this.firstName' < sample1.json
   
3. John

復(fù)制代碼

1. # 這里我想取出電話號(hào)碼，但是要用到兩次jsawk命令，大家看看有沒有改進(jìn)的地方
   
2. $ jsawk 'return this.phoneNumbers' < sample1.json |jsawk 'return this.number'
   
3. ["212 555-1234","646 555-4567"]

復(fù)制代碼

rdcwayx

JSON.sh  (a pipeable JSON parser written in Bash)
https://github.com/dominictarr/JSON.sh

這個(gè)工具寫的要簡單些，思路和上面的工具稍有不同。但是我個(gè)人覺得反而更適合shell板塊的人使用，因?yàn)槟憧梢杂凶约旱陌l(fā)揮。

1. $ ./JSON.sh -l < file
   
2. ["firstName"]   "John"
   
3. ["lastName"]    "Smith"
   
4. ["age"] 25
   
5. ["address","streetAddress"]     "21 2nd Street"
   
6. ["address","city"]      "New York"
   
7. ["address","state"]     "NY"
   
8. ["address","postalCode"]        10021
   
9. ["phoneNumbers",0,"type"]       "home"
   
10. ["phoneNumbers",0,"number"]     "212 555-1234"
    
11. ["phoneNumbers",1,"type"]       "fax"
    
12. ["phoneNumbers",1,"number"]     "646 555-4567"
    

復(fù)制代碼

通過這樣的轉(zhuǎn)換， 你就可以方便的用grep 來查詢了，而這個(gè)grep命令是shell板塊的強(qiáng)項(xiàng)。

1. $ ./JSON.sh -l < file  |grep firstName
   
2. ["firstName"]   "John"
   
3. 
   
4. $ ./JSON.sh -l < file  |grep type
   
5. ["phoneNumbers",0,"type"]       "home"
   
6. ["phoneNumbers",1,"type"]       "fax"
   

復(fù)制代碼

這個(gè)不帶參數(shù)的，有更多的輸出，看你自己的需求。

1. $ ./JSON.sh < file
   
2. ["firstName"]   "John"
   
3. ["lastName"]    "Smith"
   
4. ["age"] 25
   
5. ["address","streetAddress"]     "21 2nd Street"
   
6. ["address","city"]      "New York"
   
7. ["address","state"]     "NY"
   
8. ["address","postalCode"]        10021
   
9. ["address"]     {"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021}
   
10. ["phoneNumbers",0,"type"]       "home"
    
11. ["phoneNumbers",0,"number"]     "212 555-1234"
    
12. ["phoneNumbers",0]      {"type":"home","number":"212 555-1234"}
    
13. ["phoneNumbers",1,"type"]       "fax"
    
14. ["phoneNumbers",1,"number"]     "646 555-4567"
    
15. ["phoneNumbers",1]      {"type":"fax","number":"646 555-4567"}
    
16. ["phoneNumbers"]        [{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]
    
17. []      {"firstName":"John","lastName":"Smith","age":25,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}
    
18. 
    
19. $ ./JSON.sh < file  |grep "type.*number"
    
20. ["phoneNumbers",0]      {"type":"home","number":"212 555-1234"}
    
21. ["phoneNumbers",1]      {"type":"fax","number":"646 555-4567"}
    
22. ["phoneNumbers"]        [{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]
    
23. []      {"firstName":"John","lastName":"Smith","age":25,"address":{"streetAddress":"21 2nd Street","city":"New York","state":"NY","postalCode":10021},"phoneNumbers":[{"type":"home","number":"212 555-1234"},{"type":"fax","number":"646 555-4567"}]}
    
24. 
    

復(fù)制代碼

一共四個(gè)參數(shù)，自己要用到的時(shí)候，查一下即可上手。

1. $ ./JSON.sh -h
   
2. 
   
3. Usage: JSON.sh [-b] [-l] [-p] [-h]
   
4. 
   
5. -p - Prune empty. Exclude fields with empty values.
   
6. -l - Leaf only. Only show leaf nodes, which stops data duplication.
   
7. -b - Brief. Combines 'Leaf only' and 'Prune empty' options.
   
8. -h - This help text.

復(fù)制代碼

另外還推薦了一個(gè)jsonv.sh的小工具，主要是用來將JSON轉(zhuǎn)換成CSV文件的，有興趣的話，就自己看看吧。

jsonv.sh - A Bash command line tool for converting JSON to CSV
https://github.com/archan937/jsonv.sh

rogantianwz

坐等更新

yestreenstars

之前有不少人來求json格式處理，現(xiàn)在有了這些利器，就可以讓他們直接來這里找了，果斷收藏~

jeffreyst

收藏先，多謝樓主！

reyleon

收藏了,我去..版版你太給力了..

bikong0411

學(xué)習(xí)了，一般不用shell處理這種東西

huang6894

精品貼！��！