淺談大數(shù)據(jù)技術(shù)

崔倩

摘 要：大數(shù)據(jù)已經(jīng)成為一種基礎(chǔ)性新資源，已初顯潛在的價值和巨大的變革之力。本文介紹了大數(shù)據(jù)的定義、特征，分析了大數(shù)據(jù)的應(yīng)用和發(fā)展趨勢。

關(guān)鍵詞：大數(shù)據(jù);大數(shù)據(jù)時代;應(yīng)用

引言：

隨著新一代信息技術(shù)的發(fā)展和應(yīng)用，尤其是互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等技術(shù)的發(fā)展，人類產(chǎn)生的數(shù)據(jù)成倍增長，數(shù)據(jù)種類繁多，數(shù)據(jù)在寬帶網(wǎng)絡(luò)中高速流動，數(shù)據(jù)的待開發(fā)價值越來越大，我們正在進(jìn)入一個大數(shù)據(jù)時代，大數(shù)據(jù)應(yīng)用也成為當(dāng)前最為熱門的信息技術(shù)應(yīng)用領(lǐng)域。

一、什么是大數(shù)據(jù)

（一）大數(shù)據(jù)的定義

大數(shù)據(jù)（Big Data）指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力，以及海量、高增長率和多樣化的信息資產(chǎn)。

（二）大數(shù)據(jù)的特征

大數(shù)據(jù)的“大”是一個動態(tài)的概念。以前10GB的數(shù)據(jù)是個天文數(shù)字，而今在地球、基因、空間科學(xué)等領(lǐng)域，TB級的數(shù)據(jù)已經(jīng)很普遍。關(guān)于大數(shù)據(jù)的特征，雖然有多種解讀，但業(yè)界一般認(rèn)為，大數(shù)據(jù)具有4V特征：Volume（數(shù)據(jù)量大）、Variety（數(shù)據(jù)類型多樣）、Velocity（處理速度快）和最重要的Value（價值密度低）。

1.數(shù)據(jù)量大（Volume）

大數(shù)據(jù)的體量大，數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已經(jīng)從GB到TB再到PB級，甚至已經(jīng)開始以EB和ZB來計數(shù)。例如，一個中型城市的視頻監(jiān)控頭每天就能產(chǎn)生幾十TB的數(shù)據(jù)。有資料證實(shí)，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。國際知名咨詢機(jī)構(gòu)IDC（International Data Corporation）的研究報告預(yù)測，未來十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)據(jù)將增加10倍。

2.數(shù)據(jù)類型多樣（Variety）

大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。以往產(chǎn)生或處理的數(shù)據(jù)類型較為單一，大部分是結(jié)構(gòu)化數(shù)據(jù)。而現(xiàn)代互聯(lián)網(wǎng)應(yīng)用呈現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長的特點(diǎn)，非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)的主要部分。據(jù)咨詢機(jī)構(gòu)IDC的調(diào)查調(diào)查報告顯示，企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。

3.處理速度快（Velocity）

大數(shù)據(jù)往往以數(shù)據(jù)流的形式動態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時效性，用戶只有把握好對數(shù)據(jù)流的掌控才能有效利用這些數(shù)據(jù)。另外，數(shù)據(jù)自身的狀態(tài)與價值也往往隨時空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。業(yè)界對大數(shù)據(jù)的數(shù)據(jù)處理速度有一個稱謂——“1秒定律”，即要在秒級時間范圍內(nèi)給出分析結(jié)果，超出這個時間，數(shù)據(jù)就失去價值了。這個速度要求是大數(shù)據(jù)處理技術(shù)與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別，這也充分說明了大數(shù)據(jù)需要具備快速處理的能力。

4.價值密度低（Value）

數(shù)據(jù)總體的價值巨大，但是價值密度很低。價值密度的高低與數(shù)據(jù)總量的大小成反比，數(shù)據(jù)規(guī)模越大，真正有價值的數(shù)據(jù)相對越少。以常規(guī)的監(jiān)控視頻為例，連續(xù)24h的視頻監(jiān)控中，有用的數(shù)據(jù)可能僅有數(shù)秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

也有機(jī)構(gòu)在4V之外定義第5個V：真實(shí)性（Veracity）指的是當(dāng)數(shù)據(jù)的來源越來越多元時，這些數(shù)據(jù)本身的可靠程度如何、能否反映真實(shí)情況、質(zhì)量是否合格，都需要關(guān)注。若數(shù)據(jù)本身就有問題，那分析得到的結(jié)果也不會正確。

二、大數(shù)據(jù)的應(yīng)用

1.洛杉磯警察局和加利福尼亞大學(xué)合作利用大數(shù)據(jù)預(yù)測犯罪的發(fā)生。

2.Google流感趨勢（Google Flu Trends）利用搜索關(guān)鍵詞預(yù)測禽流感的散布。

3.統(tǒng)計學(xué)家內(nèi)特？西爾弗（Nate Silver）利用大數(shù)據(jù)預(yù)測2012美國選舉結(jié)果。

4.麻省理工學(xué)院利用手機(jī)定位數(shù)據(jù)和交通數(shù)據(jù)建立城市規(guī)劃。

5.梅西百貨的實(shí)時定價機(jī)制，根據(jù)需求和庫存的情況，該公司基于SAS的系統(tǒng)對多達(dá)7300萬種貨品進(jìn)行實(shí)時調(diào)價。

6.醫(yī)療行業(yè)早就遇到了海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)，而近年來很多國家都在積極推進(jìn)醫(yī)療信息化發(fā)展，這使得很多醫(yī)療機(jī)構(gòu)有資金來做大數(shù)據(jù)分析。

三、大數(shù)據(jù)的發(fā)展趨勢

（一）數(shù)據(jù)的資源化

資源化是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機(jī)。

（二）與云計算的深度結(jié)合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

（三）數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。

（四）數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障?？梢哉f，在未來，每個財富500強(qiáng)企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。在財富500強(qiáng)企業(yè)中，超過50%將會設(shè)置首席信息安全官這一職位。企業(yè)需要從新的角度來確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障，而并非在數(shù)據(jù)保存的最后一個環(huán)節(jié)，僅僅加強(qiáng)后者的安全措施已被證明于事無補(bǔ)。

（五）數(shù)據(jù)管理成為核心競爭力

數(shù)據(jù)管理成為核心競爭力，直接影響財務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。數(shù)據(jù)資產(chǎn)管理效率與主營業(yè)務(wù)收入增長率、銷售收入增長率顯著正相關(guān);此外，對于具有互聯(lián)網(wǎng)思維的企業(yè)而言，數(shù)據(jù)資產(chǎn)競爭力所占比重為36.8%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財務(wù)表現(xiàn)。