論當(dāng)代大數(shù)據(jù)技術(shù)的探討和分析

廣東省廣州工商學(xué)院軟件專業(yè) 梁光華

一、引言

隨著網(wǎng)絡(luò)信息化的日益普遍，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)拓展了在互聯(lián)網(wǎng)的應(yīng)用領(lǐng)域，大數(shù)據(jù)是由人類日益普及的網(wǎng)絡(luò)行為所伴生，它吸引了越來(lái)越多人。

美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長(zhǎng)50%，每?jī)赡瓯銓⒎环鼛啄晔澜缟袭a(chǎn)生了90%以上的數(shù)據(jù)。它包含有工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度乃至空氣中化學(xué)物質(zhì)變化產(chǎn)生了海量的數(shù)據(jù)。

在這大數(shù)據(jù)的熱潮中，微軟公司生產(chǎn)了數(shù)據(jù)驅(qū)動(dòng)的軟件，通過(guò)跟蹤取暖器、空調(diào)、風(fēng)扇以及燈光等積累下的大量數(shù)據(jù)，捕捉如何杜絕能源浪費(fèi)。這一款軟件可以為世界節(jié)約40%能源。

據(jù)美國(guó)《紐約時(shí)報(bào)》報(bào)道，奧巴馬政府將繪制完整的人腦活動(dòng)圖，全面解開人類大腦的思考、儲(chǔ)存和檢索記憶等思維密碼作為美國(guó)科技發(fā)展的重點(diǎn)，美國(guó)科學(xué)家已經(jīng)成功繪制出鼠腦的三維圖譜。2012年，美國(guó)IBM計(jì)算機(jī)專家用運(yùn)算速度最快的96臺(tái)計(jì)算機(jī)，制造了世界上第一個(gè)“人造大腦”，電腦精確模擬大腦不再是癡人說(shuō)夢(mèng)。

二、大數(shù)據(jù)在國(guó)內(nèi)外發(fā)展現(xiàn)狀

大數(shù)據(jù)的火爆，也帶動(dòng)了國(guó)內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界和政府對(duì)大數(shù)據(jù)的關(guān)注。2011年以來(lái)，科技部的《中國(guó)云科技發(fā)展“十二五”專項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。

應(yīng)用方面，中國(guó)三大通信運(yùn)營(yíng)商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。電子商務(wù)企業(yè)阿里巴巴提出要做中國(guó)數(shù)據(jù)分析第一平臺(tái)，通過(guò)掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動(dòng)分析判定是否給予企業(yè)貸款，全程不出現(xiàn)人工干預(yù)。目前阿里巴巴已經(jīng)放貸300多億元，壞賬率約0.3%左右，大大低于商業(yè)銀行。

2009年，聯(lián)合國(guó)啟動(dòng)“全球脈動(dòng)計(jì)劃”，借大數(shù)據(jù)推動(dòng)落后地區(qū)發(fā)展。美國(guó)從開放政府?dāng)?shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國(guó)通過(guò)Data.gov開放37萬(wàn)個(gè)數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個(gè)數(shù)據(jù)應(yīng)用。除了推動(dòng)本國(guó)政府?dāng)?shù)據(jù)開放，美國(guó)倡導(dǎo)發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動(dòng)，已有41個(gè)國(guó)家響應(yīng)。

快速發(fā)展的大數(shù)據(jù)成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國(guó)經(jīng)濟(jì)管理研究院博士張永力估算，國(guó)外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長(zhǎng)，增速是軟件行業(yè)的兩倍。我國(guó)2012年大數(shù)據(jù)市場(chǎng)規(guī)模大約4.7億元，2013年增速將達(dá)到138%，達(dá)到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮蟆?/p>

三、大數(shù)據(jù)的分析

（一）大數(shù)據(jù)的特性

1.數(shù)據(jù)量巨大

數(shù)據(jù)量巨大的表現(xiàn)之一是，它的容量的起步單位單位以TB、PB級(jí)別計(jì)量數(shù)據(jù)，而ZB、EB單位也越來(lái)越多出現(xiàn)。

2.數(shù)據(jù)處理速度快

大數(shù)據(jù)類型多、數(shù)量巨大，處理相對(duì)困難，但因大數(shù)據(jù)與決策緊密相關(guān)，所以對(duì)大數(shù)據(jù)的處理要求是以“1秒”為目標(biāo)的實(shí)時(shí)處理成為重要特征。

3.數(shù)據(jù)價(jià)值密度高或低

待分析處理的大數(shù)據(jù)整體價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。但對(duì)于由大數(shù)據(jù)分析處理的結(jié)果而言，其數(shù)據(jù)價(jià)值密度相當(dāng)高。

（二）大數(shù)據(jù)技術(shù)

是指以通過(guò)傳感器數(shù)據(jù)、射頻數(shù)據(jù)、網(wǎng)絡(luò)交互數(shù)據(jù)等方式獲得的各類結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)經(jīng)過(guò)專業(yè)技術(shù)處理獲得的有價(jià)值的信息技術(shù)。解決大數(shù)據(jù)問(wèn)題的核心就是大數(shù)據(jù)技術(shù)。

處理大數(shù)據(jù)主要有8種技術(shù)：數(shù)據(jù)采集，數(shù)據(jù)存取，基礎(chǔ)架構(gòu)，數(shù)據(jù)處理，統(tǒng)計(jì)分析，數(shù)據(jù)挖掘，模型預(yù)測(cè)，結(jié)果呈現(xiàn)等。

（三）大數(shù)據(jù)的處理流程概括為四步

1.采集

大數(shù)據(jù)的采集是利用多個(gè)數(shù)據(jù)庫(kù)來(lái)收發(fā)自客戶端的數(shù)據(jù)，用戶能查詢和處理這些數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

2.導(dǎo)入/預(yù)處理

首先將這些來(lái)自前端的巨量數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)中或分布式存儲(chǔ)集群中，并且在導(dǎo)入的基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。

3.統(tǒng)計(jì)分析

統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)或分布式計(jì)算集群的海量數(shù)據(jù)進(jìn)行分析和分類匯總等，來(lái)滿足分析需求。

4.挖掘

挖掘就是從大量的、不完全的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取隱含在其中的、但又是有用信息過(guò)程。

四、高校在大數(shù)據(jù)時(shí)代的任務(wù)

大數(shù)據(jù)技術(shù)已經(jīng)滲透到每一個(gè)行業(yè)和各個(gè)領(lǐng)域使越來(lái)越多人意識(shí)到它的重要性。大數(shù)據(jù)的影響將推出一批新的崗位，如數(shù)據(jù)算法工程師、數(shù)據(jù)管理專家、數(shù)據(jù)分析師等。每個(gè)崗位都需要專業(yè)人員，因此，必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術(shù)、有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的專業(yè)隊(duì)伍。

據(jù)蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來(lái)440萬(wàn)個(gè)IT新崗位和上千萬(wàn)個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬(wàn)—49萬(wàn)，缺口14萬(wàn)—19萬(wàn)人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬(wàn)，這方面的人才缺口更大。

由于市場(chǎng)的強(qiáng)烈需求，作為人才培養(yǎng)的重要場(chǎng)所高校肩負(fù)著培養(yǎng)具有大數(shù)據(jù)建設(shè)專業(yè)人才的重大使命。

中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才資源是非常稀缺。而由于強(qiáng)烈的市場(chǎng)需求，高校也將逐步開設(shè)大數(shù)據(jù)相關(guān)的專業(yè)。

五、總結(jié)

洶涌澎湃的大數(shù)據(jù)浪潮的到來(lái)與互聯(lián)網(wǎng)的發(fā)明一樣，它不僅僅是信息技術(shù)領(lǐng)域的革命，更是在全球范圍加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的銳利武器?！按髷?shù)據(jù)之大”，并不僅僅在于“容量之大”，更大的意義在于通過(guò)對(duì)數(shù)據(jù)的整合、分析和交換，來(lái)發(fā)現(xiàn)新的知識(shí)，創(chuàng)造出新價(jià)值，帶來(lái)“大利潤(rùn)”和“大發(fā)展”。

在大數(shù)據(jù)時(shí)代，獲取并挖掘有價(jià)值的信息就意味著巨大的投資回報(bào)。“大數(shù)據(jù)”能夠提高政府各部門間協(xié)同辦公能力，提高為民辦事的效率，大幅降低政府管理的成本，最重要的是能為政府決策提供有力的支撐，源源不斷的“數(shù)據(jù)智慧”將推動(dòng)政府管理的整體水平。

“大數(shù)據(jù)”能夠提升城市智能水平，讓居民享受智慧生活。

大數(shù)據(jù)的發(fā)展前景是美好的，但數(shù)據(jù)是否有好的處理能力和技術(shù)，如何獲得大量數(shù)據(jù)，培養(yǎng)精通“大數(shù)據(jù)”的專業(yè)人才是當(dāng)今最重要的。

大數(shù)據(jù)的到來(lái)已在各行業(yè)掀起了變革的巨浪，促使人們對(duì)數(shù)據(jù)搜集能力、傳輸能力、存儲(chǔ)能力和處理分析能力要快速提高，未來(lái)十年將是一個(gè)“大數(shù)據(jù)技術(shù)”引領(lǐng)的智慧科技時(shí)代。