
平臺(tái) 論壇博客文庫

› 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › 苦惱！尋求一種工具分析大文本數(shù)據(jù)

[其他] 苦惱！尋求一種工具分析大文本數(shù)據(jù) [復(fù)制鏈接]

ipv6ok

白手起家

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2016-07-12 16:51 |只看該作者 |倒序?yàn)g覽

各位大大們，大家好！
　　
　　　我現(xiàn)在遇到一個(gè)較為困難的事，需要分析近２０Ｇ　大小的文本文件，文本其實(shí)是csv文本，里面有各樣的記錄信息。現(xiàn)在領(lǐng)導(dǎo)想分析和提取。之前的伙計(jì)用的方法是將其全導(dǎo)入ＭＹＳＱＬ再用ＳＱＬ提數(shù)匯總計(jì)算，但是這樣效率超級(jí)慢�！�
　　　請(qǐng)問有什么可以提高處理效率的方法呢？因?yàn)槭请x線分析，其實(shí)時(shí)間在２個(gè)小時(shí)內(nèi)都可以接受。　我考慮是否可以使用：Hadoop？還是Ｒ語言還是perl還是bash+awk就行了？搞不懂了。大在們有什么建議嗎

文本文件, 記錄, 離線, 信息