大數(shù)據(jù)分析：如何做到點(diǎn)數(shù)成金？（獲獎名單已公布-10-24）

bdwy

大數(shù)據(jù)是現(xiàn)實
其實大數(shù)據(jù)的關(guān)鍵是大分析
因為數(shù)據(jù)太多所以真相反而被數(shù)據(jù)所淹沒了
大分析就像是海里尋針一樣
而工具我看則是那尋針的磁石lollol

西山壹號院

                        難題主要在于數(shù)據(jù)的采集、存儲、檢索、共享、分析和數(shù)據(jù)可視化？？？？

谷歌公司，想的超前啊，推出BigTable?替代了GFS?
我想說的是，BigData數(shù)據(jù)其實就是一種不該存在的現(xiàn)實，數(shù)據(jù)冗余不說，利弊都有。但是就目前的海量信息，我們的解決方案得不到肯定。
首先說，我國古代發(fā)明了造紙術(shù)，取代了竹簡？無論從存儲體積，還是存儲時限（墨水的研究也到了一定高度）都增加了不止一個數(shù)量級？
再者說，紙質(zhì)版到軟磁碟、磁帶、光盤、U盤、硬盤、移動硬盤、超大量級硬盤每一種進(jìn)步都在跟隨信息社會的腳步，不是嗎？
古代，竹簡尚可解決的問題，到了現(xiàn)今，耗費(fèi)了無數(shù)腦細(xì)胞在研究？
分門別類的做法已經(jīng)用到極致了嗎？也許吧。。。。
我想了一種方法，也算是跟隨云技術(shù)的一種潮流吧。。。我們自己挖掘類似于一條黃河或者一條長江那樣的數(shù)據(jù)結(jié)構(gòu)二級模型，一級模型當(dāng)然就是匯聚一處的大海了，緊接著將黃河長江細(xì)分為三級數(shù)據(jù)結(jié)構(gòu)存儲模型，這樣一級級細(xì)細(xì)分化，就到了大海水資源的源頭，即，每家每戶每一B。然而我們需要的信息就像雨水（整個生態(tài)環(huán)境的信息匯集）一樣或者地下水（本地信息冗余）那樣即取即用。      

         其中個人、公司、云服務(wù)計算提供商、服務(wù)器廠商（數(shù)據(jù)存儲），每個人扮演的角色都很重要，我們就是這一生態(tài)體系的一員，所謂愛護(hù)環(huán)境人人有責(zé)嘛。這種體系涉及千千面面細(xì)小的環(huán)節(jié)，需要我們深思熟慮，每一個拐點(diǎn)都能使一個公司發(fā)展起來！讓我們heigh起來吧，我們正處于這一場革命之中！
   


      我很喜歡看書，我對于這一領(lǐng)域抱有強(qiáng)烈的感情�。�！請活動領(lǐng)導(dǎo)者賜予我新書吧�。。�！

                                                             最后感謝CU論壇和活動提供者給我這次發(fā)言的機(jī)會

fengzhanhai

回復(fù) 1# send_linux
大數(shù)據(jù)的價值建立在：1、科學(xué)的數(shù)據(jù)分析模型；2、專業(yè)的研發(fā)與及運(yùn)維團(tuán)隊；3、建立數(shù)據(jù)分析引擎；4、適合企業(yè)業(yè)務(wù)的分析模型；5、適合企業(yè)自身的技術(shù)

   

substr函數(shù)

大數(shù)據(jù)到底是什么？
不錯的話題。

五岳之巔

大家好，這個話題很有意思，我也來湊個熱鬧。
大數(shù)據(jù)的好處經(jīng)常提及我就不說了，我想談?wù)劮此�，算作冷思考吧�?br /> 1、大數(shù)據(jù)源于一個概念，但發(fā)展至今已經(jīng)形成了以技術(shù)為基礎(chǔ)的商業(yè)體系，并慢慢形成產(chǎn)業(yè)生態(tài)圈。這與前幾年的“云計算”發(fā)展脈絡(luò)如出一轍。云計算和大數(shù)據(jù)熱的背后，是行業(yè)的蕭條�；叵胧�多年前IT蓬勃發(fā)展的黃金時代，不需概念提攜就已然能夠迅猛發(fā)展。如今，IT產(chǎn)業(yè)步入中年期，不來兩劑猛藥，怕是步履太過緩慢。
2、大數(shù)據(jù)的實踐，并非無源之水天上來，它依賴于企事業(yè)已有的信息化基礎(chǔ)。我國很多企業(yè)和政府機(jī)構(gòu)中，電腦是買了，系統(tǒng)是上了，但太過低端，大多都是只是業(yè)務(wù)流程的無紙化復(fù)刻而已，無紙化是信息化最低端的一個層次，不過實事求是地說，這就是現(xiàn)狀。對于“大”數(shù)據(jù)而言，這些部門內(nèi)的數(shù)據(jù)就是“小”數(shù)據(jù)。數(shù)據(jù)雖小，但也有價值，遺憾的是基本的完整統(tǒng)計分析功能都不一定具備，更高級的智能分析就更別提了；數(shù)據(jù)雖小，但如果部門內(nèi)部的數(shù)據(jù)能夠匯合起來，交叉關(guān)聯(lián)，就能變成“中”數(shù)據(jù)，部門間的數(shù)據(jù)一起匯總，就能形成“大”數(shù)據(jù)。我國幅員遼闊，人口眾多，辦事機(jī)構(gòu)數(shù)量也為世界之首。數(shù)據(jù)量多得是，但到處都是孤島，處處都是豎井。大數(shù)據(jù)概念雖熱，但更需腳踏實地穩(wěn)步前行，不能剛學(xué)會走、立刻就想跑。
3、大數(shù)據(jù)的運(yùn)維需要復(fù)合型人才，中國教育提供的“合格產(chǎn)品”太少。既懂計算機(jī)又懂管理還要精通統(tǒng)計，同時具有良好的表達(dá)和操作能力，這樣的人數(shù)量稀少，市面上有兩類才子：一類是專才，只能獨(dú)擋一面；一類是通才，夸夸其談，似乎什么都會，啥都能干。其實，大數(shù)據(jù)之路，沒有捷徑，需要吃苦、能夠?qū)嵏伞?br />
    就先談這些吧。歡迎大家的批評和建議。

send_linux

五岳之巔 發(fā)表于 2013-09-24 15:45
大家好，這個話題很有意思，我也來湊個熱鬧。
大數(shù)據(jù)的好處經(jīng)常提及我就不說了，我想談?wù)劮此�，算作冷思�?...

歡迎專家過來分享，呵呵

Anxiang1129

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
    前任何兩家公司都存大大數(shù)據(jù)問題，目前在職企業(yè)不存在。關(guān)鍵問題是數(shù)據(jù)的沉淀。企業(yè)對數(shù)據(jù)不關(guān)心，同一解決方案幾年換幾家。這樣下來，數(shù)據(jù)幾乎沒有。

2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
     大數(shù)據(jù)形式下，技術(shù)是手段，而規(guī)范是目的，所以這兩個概念不能單獨(dú)拿開來說。從大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)。且涉及到的數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)開展相關(guān)工作，都需要技術(shù)和規(guī)范。所以二者相輔相成，而且二者是統(tǒng)一的。
  
3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
     現(xiàn)在所處于快速消費(fèi)品行業(yè)，對于行業(yè)的大數(shù)據(jù)形式主要表現(xiàn)在企業(yè)內(nèi)部的經(jīng)營交易信息、商品物流信息兩個方面。
     行業(yè)內(nèi)的的解決方案國內(nèi)目前均不成熟。從國內(nèi)目前對大數(shù)據(jù)的運(yùn)用主要表現(xiàn)在數(shù)據(jù)分析、數(shù)據(jù)挖掘等兩個方面，企業(yè)信息化解決方案廠商可與需求企業(yè)共同開發(fā)適應(yīng)自身的數(shù)據(jù)分析、數(shù)據(jù)挖掘工具，企業(yè)管理讓數(shù)據(jù)說話，為企業(yè)經(jīng)營管理服務(wù)。

a.a

剛才一個朋友我覺得我是我想問的，什么樣的是大數(shù)據(jù)？是真正的數(shù)據(jù)內(nèi)容？還是數(shù)據(jù)文件的大小。
比如我的數(shù)據(jù)庫里面的記錄有20billion ，這個算大數(shù)據(jù)？
比如我的某個日志文件的大小超過了5G，這個算大數(shù)據(jù)？

Anxiang1129

a.a 發(fā)表于 2013-09-24 17:24
剛才一個朋友我覺得我是我想問的，什么樣的是大數(shù)據(jù)？是真正的數(shù)據(jù)內(nèi)容？還是數(shù)據(jù)文件的大小。
比如我的數(shù) ...

大數(shù)據(jù)主要是針對數(shù)據(jù)文件，而日志數(shù)據(jù)則為運(yùn)維的范疇

seesea2517

1、您目前所在的企業(yè)是否面對大數(shù)據(jù)的難題？
估計真正意義上的大數(shù)據(jù)還沒有吧，就是對比較多的一些用戶操作進(jìn)行分析來判斷和預(yù)測用戶行為，對一些系統(tǒng)日志進(jìn)行分析來判斷系統(tǒng)工作是否正常和符合預(yù)期。
2、目前的大數(shù)據(jù)形式下，技術(shù)和規(guī)范哪個更重要？
不知道這個規(guī)范是不是我理解的“標(biāo)準(zhǔn)”的意思，技術(shù)應(yīng)該是為規(guī)范服務(wù)的，規(guī)范就像是一個方向，沒有方向，技術(shù)實現(xiàn)的再完美那也是錯的，所謂南轅北轍就是走錯方向了嘛。
3、談?wù)勀�目前所在行業(yè)的大數(shù)據(jù)形式和業(yè)內(nèi)解決方案
沒用到，沒什么接觸。