淺談大數(shù)據(jù)

黃星宇

（安徽理工大學計算機科學與工程學院，安徽 淮南232000）

“大數(shù)據(jù)”是時下最火熱的IT詞匯。要理解大數(shù)據(jù)這一概念，首先要從“大”字入手，“大”是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來概括：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實）。

有人把數(shù)據(jù)比作蘊藏能量的煤礦。煤礦當然是越大越好，但是大數(shù)據(jù)的關鍵并不在于“大”，而在于“有用”，價值含量、挖掘成本遠比數(shù)量重要。大數(shù)據(jù)不是簡簡單單大量數(shù)據(jù)的堆砌，大數(shù)據(jù)的重點是對大數(shù)據(jù)的分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領域顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。

1 大數(shù)據(jù)的采集

大數(shù)據(jù)的采集和感知技術的發(fā)展密不可分。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎的感知能力的提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設備、汽車、電表上安裝著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)的變化，從而產(chǎn)生海量的數(shù)據(jù)信息。很多與感知相關的技術讓我們耳目一新：牙齒傳感器可以實時監(jiān)控口腔活動及飲食狀況，嬰兒穿戴設備可以利用大數(shù)據(jù)來更好的養(yǎng)育寶寶，3D筆記本攝像頭可以通過追蹤眼球讀懂用戶情緒等。

2 大數(shù)據(jù)的分析方法

2.1 可視化分析

大數(shù)據(jù)分析的使用者不僅有大數(shù)據(jù)分析專家，還有普通用戶，但他們二者對大數(shù)據(jù)分析的基本要求是一致的：分析必須是可視化的。因為可視化分析能夠直觀的體現(xiàn)出大數(shù)據(jù)的特點，同時非常容易被用戶接受，就像看圖說話一樣簡單明了。

2.2 數(shù)據(jù)挖掘算法

大數(shù)據(jù)分析的理論核心是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘算法基于不同的數(shù)據(jù)類型和格式科學的呈現(xiàn)出數(shù)據(jù)本身的特點，也正是因為這些數(shù)據(jù)挖掘算法才能夠深入數(shù)據(jù)內(nèi)部，挖掘出數(shù)據(jù)潛在的價值。另一方面也是因為有了這些數(shù)據(jù)挖掘算法的支持才能夠更快的處理大數(shù)據(jù)，如果一個算法要花好幾年才能得出一個結(jié)論，那么大數(shù)據(jù)的價值也就無從談起了。

2.3 預測性分析能力

大數(shù)據(jù)分析的應用領域之一就是預測性分析，從大數(shù)據(jù)中挖掘出特點，科學的建立模型，之后便可以通過模型代入新的數(shù)據(jù)，從而預測未來的趨勢。

2.4 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)配合高效的數(shù)據(jù)管理，無論是在學術研究還是在商業(yè)應用領域，都能夠保證分析結(jié)果既真實又有價值。

3 大數(shù)據(jù)與云計算

大數(shù)據(jù)之所以會和云計算聯(lián)系到一起，因為實時的大數(shù)據(jù)分析需要分布式處理框架來向成百上千臺電腦分配工作。云計算提供了基礎的架構平臺，而大數(shù)據(jù)運行在這個平臺之上。云計算在虛擬化技術，分布式處理技術，海量數(shù)據(jù)的存儲和管理技術，NoSQL、實時流數(shù)據(jù)處理、智能分析技術等方面為大數(shù)據(jù)提供了保障?？梢哉f，沒有大數(shù)據(jù)的信息積淀，云計算的計算能力再強大，也難找到用武之地；而沒有云計算的處理能力，大數(shù)據(jù)的信息積淀再豐富，也終究只是紙上談兵。

4 大數(shù)據(jù)與企業(yè)決策

企業(yè)家做決策需要數(shù)據(jù)來支撐。大數(shù)據(jù)是巨大的杠桿，可以改變公司的影響力，帶來競爭差異、節(jié)省金錢、增加利潤、愉悅買家、獎賞忠誠用戶、將潛在客戶轉(zhuǎn)化為客戶、增加吸引力、打敗競爭對手、開拓用戶群并創(chuàng)造市場。隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應鏈模式發(fā)展，最終形成“數(shù)據(jù)供應鏈”。

需要大數(shù)據(jù)服務的企業(yè)包括：

1）對大量消費者提供產(chǎn)品或服務的企業(yè)

2）做小而美模式的中長尾企業(yè)

3）在互聯(lián)網(wǎng)壓力下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)

5 大數(shù)據(jù)與醫(yī)療

大數(shù)據(jù)處理在醫(yī)療行業(yè)的應用包含諸多方向，如臨床操作的比較效果研究、臨床決策支持系統(tǒng)、醫(yī)療數(shù)據(jù)透明度、遠程病人監(jiān)控、對病人檔案的先進分析；定價環(huán)節(jié)的自動化系統(tǒng)、基于衛(wèi)生經(jīng)濟學和療效研究；研發(fā)階段的預測建模、提高臨床試驗設計、臨床實驗數(shù)據(jù)分析、個性化治療、疾病模式的分析；新商業(yè)模式的匯總患者臨床記錄和醫(yī)療保險數(shù)據(jù)集、網(wǎng)絡平臺和社區(qū)。

有大數(shù)據(jù)參與的比較效果研究可以提高醫(yī)務人員的效率、降低病人的看病成本和身體損害。這主要是在全面分析病人特征數(shù)據(jù)和療效數(shù)據(jù)基礎上，對比多種干預措施的有效性，找到針對特定病人的最佳治療途徑。

有大數(shù)據(jù)參與的遠程病人監(jiān)控可以減少病人住院時間，實現(xiàn)醫(yī)療資源的最優(yōu)化配置。使用遠程病人監(jiān)護系統(tǒng)實現(xiàn)預防，不僅可以降低病人出現(xiàn)意外的風險，同時也節(jié)約醫(yī)療資源，同時創(chuàng)造了社會和經(jīng)濟價值。

6 利用大數(shù)據(jù)預防火災

大數(shù)據(jù)分析師認為，每棟建筑物擁有獨特的屬性，通過分析就能得知一些建筑物其實本身就屬“火”。

判斷一棟建筑物是否屬“火”主要遵循不同的因素：例如貧窮，低收入家庭的房子往往更容易發(fā)生火災，而且低收入人群居住密度較高，火災的危害性更大。另外，建筑物的年齡也需要關注。老房子問題更多，因為它們很容易有各種由電線線路引起火災的潛在問題，而且老房子消防設施落后，發(fā)生火災后才發(fā)現(xiàn)附近根本沒有足夠的水龍頭，危險指數(shù)是普通建筑物的兩倍。

諸如此類，大數(shù)據(jù)分析師將影響房屋起火的因素分為60個。除去危害性較小的小型獨立屋，通過特定算法，為需要檢驗的建筑物單獨進行打分，得出危險指數(shù)高低。而整個城市的消防數(shù)據(jù)，也因系統(tǒng)的檢測和防范得到更新。這樣當消防員每周出勤檢驗時，系統(tǒng)都會列出建筑物的詳細資料和危險指數(shù)，決定哪些是優(yōu)先“照顧”的對象。

如何找出證據(jù)顯示因為有了這些大數(shù)據(jù)分析和防范，從而避免了火災發(fā)生？最好的答案還是數(shù)據(jù)本身，因為最后我們能看到火災數(shù)量的下降。

7 大數(shù)據(jù)的其他應用前景

1）大數(shù)據(jù)可以幫助政府實現(xiàn)市場經(jīng)濟調(diào)控、公共衛(wèi)生安全防范、災難預警

2）大數(shù)據(jù)可以幫助城市預防犯罪，實現(xiàn)智慧交通，提升緊急應急能力

3）大數(shù)據(jù)可以幫助航空公司節(jié)省運營成本，幫助電信企業(yè)實現(xiàn)售后服務質(zhì)量提升，幫助保險企業(yè)識別騙保行為，幫助電力公司有效識別預警即將發(fā)生故障的設備

4）大數(shù)據(jù)可以幫助電商公司向用戶推薦商品和服務，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格

5）大數(shù)據(jù)可以幫助娛樂行業(yè)預測歌手，歌曲，電影，電視劇的受歡迎程度

6）大數(shù)據(jù)可以幫助社交網(wǎng)站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲及適合購買的商品

［1］[英]維克托·邁爾-舍恩伯格.大數(shù)據(jù)時代——生活、工作與思維的大變革[M].盛楊燕,周濤,譯.杭州:浙江人民出版社,2012.

［2］余建斌,趙展慧.大數(shù)據(jù)崛起[J].人民日報,2013-2-22(20).

［3］[法]喬治·納漢.“大數(shù)據(jù)”時代的計算機信息處理技術[J].趙春雷,編,譯.世界科學,2012(2).