“大數(shù)據(jù)”時代或?qū)⒁瑐髅桨l(fā)展新格局

文｜閆城榛 宋迪

“非結(jié)構(gòu)性大數(shù)據(jù)”時代的到來

我們現(xiàn)在全球數(shù)據(jù)量到底有多大？答案或許會令不少人感到吃驚。有機(jī)構(gòu)預(yù)計，到2020年，全球數(shù)據(jù)使用量將暴增44倍，達(dá)到35.2ZB（1ZB≈10億TB）。

繼物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)之后，“大數(shù)據(jù)”(Big Data)正成為全球IT業(yè)界最受矚目的詞匯。然而，對于不少人而言，“大數(shù)據(jù)”似乎還是一個相對陌生的概念。事實上，目前在醫(yī)療衛(wèi)生、地理信息、電子商務(wù)、影視娛樂等領(lǐng)域，每天都會有大量數(shù)據(jù)產(chǎn)生?！按髷?shù)據(jù)”正在徹底改變IT世界。“大數(shù)據(jù)”將進(jìn)一步挑戰(zhàn)企業(yè)的傳統(tǒng)存儲架構(gòu)、數(shù)據(jù)中心等基礎(chǔ)設(shè)施，也會引發(fā)數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計算等新應(yīng)用的連鎖反應(yīng)與快速崛起。

而需要指出的是，傳統(tǒng)的計算機(jī)設(shè)計與軟件都是以解決“結(jié)構(gòu)性”數(shù)據(jù)為主。例如你到銀行去取存款，銀行的計算機(jī)系統(tǒng)記錄著你的名字，在名字之后列有存取款的數(shù)量、時間、類型等信息。這些數(shù)據(jù)之間的邏輯性很強(qiáng)，每個“因”都產(chǎn)生“果”，每個“果”也都有“因”與之相對應(yīng)。前半個世紀(jì)信息技術(shù)的發(fā)展，主要解決的是云計算中“結(jié)構(gòu)性”數(shù)據(jù)的存儲、處理與應(yīng)用。

然而在現(xiàn)實社會中，大量數(shù)據(jù)事實上沒有這樣顯著的因果關(guān)系，例如一個城市某個時刻的交通狀況、天氣情況、人的心理狀態(tài)，又或者一個社會實際在互聯(lián)網(wǎng)中引起的信息爆炸，這些信息是海量、即時又具有彈性的，我們稱之為“非結(jié)構(gòu)性”數(shù)據(jù)。這一類新型的“非結(jié)構(gòu)性”數(shù)據(jù)與傳統(tǒng)意義上的“結(jié)構(gòu)性”數(shù)據(jù)相比有很多不同。而據(jù)統(tǒng)計，“非結(jié)構(gòu)性”每年都按60%增速增長，并將占到未來全球數(shù)據(jù)總量的80%。

社會化媒體的出現(xiàn)和發(fā)展為大數(shù)據(jù)時代的到來提供了強(qiáng)大的推動力。當(dāng)社會化媒體，尤其是facebook,微博這類的社交媒體出現(xiàn)之后，每一個人都在利用它們進(jìn)行各種各樣的信息處理和傳遞。從此，每個信息都有與之相對應(yīng)的人，一個人的情感、愛好、生活習(xí)慣、品牌傾向都能從中得到體現(xiàn)。“強(qiáng)關(guān)系產(chǎn)生信任，弱關(guān)系產(chǎn)生信息?！敝袊鴤髅酱髮W(xué)電視與新聞學(xué)院教授沈浩這樣說到。

每個信息之間都具有關(guān)系，這種關(guān)系被完完整整地呈現(xiàn)在網(wǎng)絡(luò)上，形成一個非常龐大同時也非常寶貴的非結(jié)構(gòu)化的數(shù)據(jù)庫。通過對這些數(shù)據(jù)的分析，我們甚至能夠捕捉每個人的社會生活和社會關(guān)系，從中發(fā)掘可觀的商業(yè)價值和社會價值?？梢哉f，因為有了社會化媒體，產(chǎn)生了大量的社會化信息，對社會的計算才產(chǎn)生了現(xiàn)在這種大數(shù)據(jù)的趨勢，大數(shù)據(jù)從而真正地開始跟社會發(fā)生關(guān)系?！斑@些數(shù)據(jù)如何才能為我所用？”人們這樣思索著、行動著，不知不覺間正式邁入了“大數(shù)據(jù)”時代。

而互聯(lián)網(wǎng)時代——尤其是社會化媒體、電子商務(wù)與移動通訊——把人類社會帶入一個以PB為單位的“結(jié)構(gòu)性”與“非結(jié)構(gòu)性”數(shù)據(jù)并行存在的新“大數(shù)據(jù)”時代。

“大數(shù)據(jù)”在云端

正如IBM總結(jié)的那樣：“大量化(Volume)、多樣化(Variety)和快速化(Velocity)”就是“大數(shù)據(jù)”的顯著特征。面對這些“大數(shù)據(jù)“，有些人嘆息抱怨，害怕數(shù)據(jù)量的劇增對于現(xiàn)有IT架構(gòu)的沖擊；有些人積極主動，探尋應(yīng)對海量數(shù)據(jù)的應(yīng)對與解決之道；還有一些人，則是順勢而為，抓住時代發(fā)展的商業(yè)機(jī)會，成為富有活力的創(chuàng)新者。如何管理和利用這些數(shù)據(jù)，控制隱私和公共空間的邊界，并最大化它們的價值，成為問題的關(guān)鍵。

對“大數(shù)據(jù)”加以正確的利用和管理，可以豐富人們對世界的認(rèn)識，轉(zhuǎn)變?nèi)藗兊恼J(rèn)識方式，使人們得以了解真實信息，提高決策水平。當(dāng)社會對數(shù)據(jù)有較為完善分析能力時，人們對事件的把握及預(yù)測能力就會增強(qiáng)。以云計算為基礎(chǔ)的信息存儲、分享和挖掘手段為知識生產(chǎn)提供了工具，通過對大數(shù)據(jù)分析、預(yù)測會使得決策更為精準(zhǔn)，這對現(xiàn)階段的中國尤其重要。

云計算就是在這樣的背景下出現(xiàn)的，它也勢必成為在“大數(shù)據(jù)”時代解決新的整合問題的重要手段。

互聯(lián)網(wǎng)的信息大爆炸，網(wǎng)絡(luò)中需要處理的信息量越來越龐大。有人也許有這樣的疑問：“難道不能用一臺超級計算機(jī)來解決所有的來自互聯(lián)網(wǎng)的所有數(shù)據(jù)請求么？”超級計算機(jī)的造價過于昂貴并不是每個企業(yè)、每個網(wǎng)站都能夠承擔(dān)的。而且，到目前為止還沒有出現(xiàn)一臺超級計算機(jī)可以解決所有的處理系統(tǒng)請求。

既然集中式不可以解決問題，我們可以換個角度，把所有的資源調(diào)動起來形成一個統(tǒng)一的資源池，然后把所有的數(shù)據(jù)處理請求看作是一個個問題，把這些問題按照一定的規(guī)則分解成一個個小的子任務(wù)，把這些子任務(wù)再交給不同的機(jī)器去同步處理，最后把所有機(jī)器運算的結(jié)果進(jìn)行整合，統(tǒng)一輸出給用戶。在這種方式下，每臺機(jī)器需要處理的任務(wù)都是各自的子任務(wù)，計算量降低，對于計算機(jī)的硬件性能要求也同步降低。對于管理人員來說，由于現(xiàn)在需要管理的是統(tǒng)一的資源池而不再是資源池里具體的、數(shù)量龐大的機(jī)器設(shè)備，管理與安全的問題從而也大大減少。在這樣的一種解決方式里，資源池以及分解任務(wù)的方式其實就是云計算的基礎(chǔ)概念。

“大數(shù)據(jù)”和云計算雖然是兩個不同的概念，但兩者之間有很多交集。面對“大數(shù)據(jù)”時代的來臨，新的產(chǎn)業(yè)格局中充滿了機(jī)會和挑戰(zhàn)，也會出現(xiàn)一批新的互聯(lián)網(wǎng)英雄，引領(lǐng)未來產(chǎn)業(yè)的發(fā)展。

“大數(shù)據(jù)”時代需要新的整合對策

“大數(shù)據(jù)”時代的來臨已經(jīng)毋庸置疑，這種趨勢已經(jīng)讓很多相信數(shù)據(jù)的力量的企業(yè)做出改變。DCCI互聯(lián)網(wǎng)數(shù)據(jù)中心創(chuàng)始人胡延平曾說過：“‘大數(shù)據(jù)’是提法，數(shù)據(jù)云是形態(tài)，以實時感知、分析、對話、服務(wù)能力為基礎(chǔ)，讓數(shù)據(jù)流成為商業(yè)、營銷活動的核心才是關(guān)鍵。不僅互聯(lián)網(wǎng)企業(yè)，各行各業(yè)企業(yè)都需要逐步建立真正的數(shù)字商業(yè)神經(jīng)系統(tǒng)?！?/p>

在“大數(shù)據(jù)”時代，龐大的數(shù)據(jù)資源應(yīng)當(dāng)如何合理的保存，如何通過有效的管理提高數(shù)據(jù)的利用效率，在人們需要使用這些數(shù)據(jù)時，能夠非常方便地進(jìn)行調(diào)用，同時盡量不增加企業(yè)的成本？面對這些問題，“大數(shù)據(jù)”時代給IT服務(wù)提供商們提出了新的挑戰(zhàn)，同時也給人們的生活帶來了新的可能?！按髷?shù)據(jù)”相關(guān)技術(shù)提供商，包括EMC、IBM、Oracle、SAP等都已經(jīng)在積極布局，一方面通過并購整合增強(qiáng)其在這一領(lǐng)域的競爭力，另一方面加快研發(fā)創(chuàng)新推出數(shù)據(jù)分析解決方案。

IBM系統(tǒng)與科技部中國主機(jī)產(chǎn)品部新興市場總經(jīng)理唐多說：“在‘大數(shù)據(jù)’時代，確保企業(yè)大數(shù)據(jù)成功應(yīng)用的重要開端，是具有支持靈活擴(kuò)展、異構(gòu)環(huán)境、高效性能和運行穩(wěn)定的基礎(chǔ)架構(gòu)?！蓖瑫r，他還闡述了ELS在“大數(shù)據(jù)”時代的全新策略，將ELS打造成為全面的企業(yè)級數(shù)據(jù)平臺。

“大數(shù)據(jù)”發(fā)展將推進(jìn)傳媒發(fā)展與融合

隨著三網(wǎng)融合政策推進(jìn)，傳媒集團(tuán)跨領(lǐng)域、行業(yè)的整合與全方位發(fā)展已漸成趨勢。“大數(shù)據(jù)”處理的規(guī)模化、自動化、自愈性等特點使不同用戶終端之間資源共享成為可能。終端用戶不必攜帶專用的設(shè)備，在任何一個聯(lián)接數(shù)據(jù)中心核心系統(tǒng)平臺的客戶端設(shè)備，如機(jī)頂盒、PC、智能手機(jī)等，都可以通過瀏覽器進(jìn)行登錄，延續(xù)看了一部分的電影或者寫了一半的文章。大數(shù)據(jù)時代的到來，推進(jìn)了三網(wǎng)融合背后的深度業(yè)務(wù)推廣，使跨網(wǎng)絡(luò)業(yè)務(wù)運營成為了可能。

如今，“大數(shù)據(jù)”已經(jīng)顯露其作為行業(yè)發(fā)展趨勢與顛覆性力量的本質(zhì)，它帶來的變化是不可抗拒并可以預(yù)見的，“大數(shù)據(jù)”對包括傳媒行業(yè)在內(nèi)的各行業(yè)的基礎(chǔ)IT架構(gòu)甚至整個社會生活都將產(chǎn)生巨大和深遠(yuǎn)的影響?！按髷?shù)據(jù)”時代，新的產(chǎn)業(yè)格局中將會產(chǎn)生怎樣的機(jī)會和挑戰(zhàn)，人們的生活方式會發(fā)生什么改變，行業(yè)巨擘之間將上演怎樣的博弈戰(zhàn)？著實令人期待。