智慧的大數(shù)據(jù)洞察新價值

◎ 本刊記者 汪莉莉

隨著云時代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。大數(shù)據(jù)正在成為改變?nèi)藗兩畹闹匾蛩?，從生活用水到出行，從購物?xí)慣到流感監(jiān)測，其中都有大數(shù)據(jù)的蹤影。而對于許多企業(yè)而言，數(shù)據(jù)也逐漸成為企業(yè)在商戰(zhàn)中取勝的決定性要素，美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%，每兩年便將翻一番，而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。

實際上，大數(shù)據(jù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，就在于如何提高對數(shù)據(jù)的“加工能力”，同時，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)意味著非常多的事情，但是被援引的次數(shù)太多了，幾乎失去了其本來的定義。大數(shù)據(jù)的定義通常和速率(數(shù)據(jù)移動得快)，體積(數(shù)據(jù)規(guī)模龐大)，和種類(非結(jié)構(gòu)化和結(jié)構(gòu)化的信息)三點有關(guān)。

智慧的大數(shù)據(jù)

《著云臺》的分析師團隊認(rèn)為，大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。著名研究機構(gòu)Gartner對大數(shù)據(jù)給出了這樣的定義。大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)，就是從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，這就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域，目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)是指從各種各樣類型的海量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)，解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。

進(jìn)入2012年，大數(shù)據(jù)被越來越多地提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。最早提出“大數(shù)據(jù)”時代到來的全球知名咨詢公司麥肯錫認(rèn)為，數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。

大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)顯示，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個（相當(dāng)于《時代》雜志770年的文字量）；賣出的手機為37.8萬臺，高于全球每天出生的嬰兒數(shù)量37.1萬。

同時，資料顯示截止到2012年，數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級別躍升到 PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。IBM的研究調(diào)查也顯示，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。

此外，IDC 預(yù)計大量新數(shù)據(jù)將不斷涌現(xiàn)，它們將以每年 50% 的速度在增長，或者說每兩年就要翻一番多。并不僅僅是數(shù)據(jù)的洪流越來越大，而且全新的支流也會越來越多。比方說，現(xiàn)在全球就有無數(shù)的數(shù)字傳感器依附在工業(yè)設(shè)備、汽車、電表和板條箱上。它們能夠測定方位、運動、振動、溫度、濕度、甚至大氣中的化學(xué)變化，并可以通信。

數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性。大數(shù)據(jù)研發(fā)就是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

大數(shù)據(jù)藍(lán)海

IDC最近的報告預(yù)測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

在高速網(wǎng)絡(luò)時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。普遍觀點認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。數(shù)據(jù)被創(chuàng)建和移動的速度是高速的，因此，企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。

大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應(yīng)用軟件進(jìn)行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時間演變已擁有標(biāo)準(zhǔn)的格式，能夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價值。

對于大數(shù)據(jù)的特點，業(yè)界通常用 Volume、Variety、Value、Velocity這4個V來概括。大數(shù)據(jù)的特點包括：首先，數(shù)據(jù)體量巨大。從TB級別躍升到PB乃至EB級別。要知道目前的數(shù)據(jù)量有多大，可以通過一組公式表示：1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB；1024ZB=YB。到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB。

其次，數(shù)據(jù)類型繁多。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，越來越多的非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生給所有廠商都提出了挑戰(zhàn)。拜互聯(lián)網(wǎng)和通信技術(shù)近年來迅猛發(fā)展所賜，如今的數(shù)據(jù)類型早已不是單一的文本形式，除了網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。

此外，價值密度低。價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。

大數(shù)據(jù)的處理速度快。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。根據(jù)IDC的一份名為“數(shù)字宇宙”的報告，預(yù)計到2020年全球數(shù)據(jù)使用量將會達(dá)到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。

掘金大數(shù)據(jù)需戰(zhàn)略支持

在剛剛結(jié)束不久的兩會上，來自全國各地的政府領(lǐng)導(dǎo)、企業(yè)高層、專家學(xué)者等紛紛對IT產(chǎn)業(yè)建言獻(xiàn)策，以云計算、大數(shù)據(jù)為驅(qū)動的技術(shù)變革成為兩會IT業(yè)關(guān)注的熱點。其中，全國人大代表、安徽移動總經(jīng)理鄭杰在提案中建議：“大數(shù)據(jù)應(yīng)該上升為國家戰(zhàn)略?！边@個提案不僅代表了通信業(yè)，同樣也代表了整個IT產(chǎn)業(yè)的呼聲。鄭杰指出，大數(shù)據(jù)將從經(jīng)濟發(fā)展、教育、科研、民生等方面給整個社會帶來深刻的影響，他建議，大數(shù)據(jù)應(yīng)該上升為國家戰(zhàn)略，用數(shù)據(jù)來決策、管理和創(chuàng)新，實現(xiàn)數(shù)據(jù)治國，將會對政務(wù)、商業(yè)、交通、旅游、醫(yī)療、食品衛(wèi)生、農(nóng)業(yè)、生產(chǎn)制造各領(lǐng)域發(fā)揮重大的效用。除此之外，全國政協(xié)委員、中國工程院常務(wù)副院長潘云鶴在接受媒體采訪時也表示，“大數(shù)據(jù)時代已經(jīng)到來，建議國家要及時把握大數(shù)據(jù)科技變革的重大機遇?！?/p>

就在不久前，中國電機工程學(xué)會電力信息化專委會擬編制發(fā)布《中國電力大數(shù)據(jù)發(fā)展白皮書（2013）》，這將是我國首次就電力大數(shù)據(jù)問題發(fā)布白皮書。電力工業(yè)積極應(yīng)用大數(shù)據(jù)技術(shù)，推動中國電力大數(shù)據(jù)事業(yè)發(fā)展，對實現(xiàn)中國電力工業(yè)科學(xué)發(fā)展具有極大的現(xiàn)實意義。白皮書第一次提出了電力大數(shù)據(jù)的定義，并同時指出重塑電力核心價值和轉(zhuǎn)變電力發(fā)展方式是中國電力大數(shù)據(jù)的兩條核心主線。白皮書還第一次提出了電力大數(shù)據(jù)的特征即3V、3E，“3V”是指體量大（Volume）、類型多（Variety）和速度快（Velocity），“3E”指數(shù)據(jù)即能量（Energy）、數(shù)據(jù)即交互（Exchange）、數(shù)據(jù)即共情（Empathy）。由此可見，大數(shù)據(jù)不僅是一種技術(shù)變革更是一場商業(yè)變革乃至社會變革。

更加值得關(guān)注的是，奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。根據(jù)美國白宮2012年3月29日新聞，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”。希望增強收集海量數(shù)據(jù)、分析萃取信息的能力。

在大數(shù)據(jù)時代，企業(yè)就如同飄浮在數(shù)據(jù)海洋上的巨輪，作為商業(yè)世界中的個體，企業(yè)要想做到游刃有余就必須如熟悉水性一般熟悉和用好海量的數(shù)據(jù)。這些能夠被企業(yè)隨時獲取的數(shù)據(jù)，可以幫助和指導(dǎo)企業(yè)全業(yè)務(wù)流程的任何一個環(huán)節(jié)進(jìn)行有效運營和優(yōu)化，并幫助企業(yè)做出最明智的決策。大數(shù)據(jù)在重新定義企業(yè)智商的同時，對企業(yè)核心資產(chǎn)也進(jìn)行了重塑。在過去，衡量企業(yè)最重要的資產(chǎn)無外乎土地、流動資金和人才等幾個要素，如今，數(shù)據(jù)作為企業(yè)一項更加重要的資產(chǎn)將直接關(guān)系到企業(yè)的發(fā)展?jié)摿?。然而，現(xiàn)階段國內(nèi)企業(yè)的大數(shù)據(jù)時代正處于探索階段。

因此，我國大數(shù)據(jù)研發(fā)建設(shè)已從四個方面著力。一是建立一套運行機制。大數(shù)據(jù)建設(shè)是一項有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運行機制，以促進(jìn)建設(shè)過程中各個環(huán)節(jié)的正規(guī)有序，實現(xiàn)統(tǒng)一，搞好頂層設(shè)計。二是規(guī)范一套建設(shè)標(biāo)準(zhǔn)。沒有標(biāo)準(zhǔn)就沒有系統(tǒng)，應(yīng)建立面向不同主題、覆蓋各個領(lǐng)域、不斷動態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)，為實現(xiàn)各級各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。三是搭建一個共享平臺。數(shù)據(jù)只有不斷流動和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實現(xiàn)各級各類指揮信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。四是培養(yǎng)一支專業(yè)隊伍。大數(shù)據(jù)建設(shè)的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專業(yè)隊伍。