大數(shù)據(jù)的前世、今生和未來

薛一波

摘要： 分析了大數(shù)據(jù)產(chǎn)生的原因，闡述了大數(shù)據(jù)的作用、價值以及所面臨的問題。認(rèn)為大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型，其科學(xué)價值和社會價值主要體現(xiàn)在兩個方面：一方面，大數(shù)據(jù)不僅可以發(fā)現(xiàn)事物的顯式規(guī)律，而且可以挖掘事物的隱式規(guī)律和潛在價值；另一方面，大數(shù)據(jù)可以轉(zhuǎn)化為經(jīng)濟價值的源泉，撼動世界的各個方面。

關(guān)鍵詞： 大數(shù)據(jù)；關(guān)聯(lián)分析；數(shù)據(jù)科學(xué)

Abstract： This paper analyzes the reasons that big data is generated. It then describes big data in terms of effects， value， and issues. Now， big data is opening a new era of development and presents good opportunities. The science and social values of big data focus on two aspects. On the one hand， big data can discover explicit laws and also dig up implicit laws and potential value. On the other hand， big data can be changed into the fountain of economic value and shake all aspects of the world.

Key words： big data； correlation analysis； data science

1 大數(shù)據(jù)的前世

大數(shù)據(jù)沒有“前世”，只有“今生”和“未來”。

2 大數(shù)據(jù)的今生

Google每個月要處理900億次的Web搜索，數(shù)據(jù)量高達600 PB；百度擁有數(shù)千億的網(wǎng)頁，同時數(shù)據(jù)總量接近1 000 PB；Facebook是全球最大的在線社交網(wǎng)絡(luò)，用戶人數(shù)達12.3億，日活躍人數(shù)達7.57億，日均消息量達10億條；Twitter用戶數(shù)突破5億，日活躍人數(shù)2.4億，日均消息量2.3億條；騰訊QQ目前擁有8億互聯(lián)網(wǎng)用戶、4億移動用戶，數(shù)據(jù)量經(jīng)壓縮處理后約100 PB，并且這一數(shù)據(jù)還在以日新增200 TB到300 TB、月增加10%的數(shù)據(jù)量不斷增長。

2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8 ZB，是2012年中國產(chǎn)生的數(shù)據(jù)總量的2倍，相當(dāng)于2009年全球的數(shù)據(jù)總量。預(yù)計到2020年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍，超過8.5 ZB[1]。

2.1大數(shù)據(jù)的起因

（1）數(shù)字化。由于計算機的出現(xiàn)，使得人類可以用數(shù)字化的“眼睛”來觀測和處理整個世界，數(shù)字化意味著可以從大千世界的一切事物中汲取信息。數(shù)字化是大數(shù)據(jù)的手段。

（2）移動化。隨著智能手機、移動終端、便攜設(shè)備的快速普及，推動了移動互聯(lián)網(wǎng)的迅猛發(fā)展，使得人們可以快速、實時、便捷地產(chǎn)生、分享和獲取數(shù)據(jù)。移動化是大數(shù)據(jù)產(chǎn)生的原因之一，主要是人在產(chǎn)生數(shù)據(jù)。

（3）物聯(lián)化。隨著物聯(lián)網(wǎng)的快速發(fā)展，世上萬物皆有生命，既能被感知（傳感網(wǎng)），又能感知“它”（物聯(lián)網(wǎng)），還能共分享（網(wǎng)絡(luò)化）；隨著物聯(lián)網(wǎng)技術(shù)的進一步發(fā)展，感知的廣度和深度都將會逐步地加大，不可避免地會產(chǎn)生數(shù)據(jù)的“海洋”。物聯(lián)網(wǎng)是大數(shù)據(jù)產(chǎn)生的原因之二，主要是物在產(chǎn)生數(shù)據(jù)。

（4）社會化。好奇、求知和交流是人類永恒的渴求，社會網(wǎng)絡(luò)的出現(xiàn)滿足了人們實時交流、分享信息、抒發(fā)情感、尋求朋友的愿望，因而得到了迅猛的發(fā)展，社會網(wǎng)絡(luò)每時、每刻、每地產(chǎn)生數(shù)據(jù)。社會化是大數(shù)據(jù)產(chǎn)生的原因之三，主要是人和人、人和物的交流在產(chǎn)生數(shù)據(jù)。

（5）網(wǎng)絡(luò)化。隨著網(wǎng)絡(luò)用戶的增加、帶寬的增大以及新應(yīng)用的不斷出現(xiàn)，信息的產(chǎn)生和傳播更快、更廣、更深。網(wǎng)絡(luò)化是大數(shù)據(jù)產(chǎn)生的原因之四，主要是傳播在產(chǎn)生數(shù)據(jù)。

當(dāng)然產(chǎn)生大數(shù)據(jù)的原因還有很多，如精度的提升可能使數(shù)據(jù)量指數(shù)不斷增長，原來一張照片的數(shù)據(jù)量不到1 MB，現(xiàn)在可能超過10 MB；再如視頻監(jiān)控的普及、多媒體應(yīng)用的增多，都產(chǎn)生了大數(shù)據(jù)。

總之，大數(shù)據(jù)是一種“現(xiàn)象”，是眾多新技術(shù)和新應(yīng)用產(chǎn)生的結(jié)果。

2.2 大數(shù)據(jù)的特點

大數(shù)據(jù)不僅是指其數(shù)據(jù)量大，而且還有很多特點，目前公認(rèn)的至少有4個特點：體量大、形式多、時效強、價值大 [2]。

·體量大主要指范圍廣、規(guī)模大、容量大，通常可以達到PB級，甚至達到EB、ZB級，其中以非結(jié)構(gòu)化數(shù)據(jù)居多，占總數(shù)據(jù)量的80%～90%，其增長的速度比結(jié)構(gòu)化數(shù)據(jù)還要快10～50倍。

·形式多主要指數(shù)據(jù)類型，具有異構(gòu)性和多樣性，很多不同形式（文本、音頻、圖像、視頻）的數(shù)據(jù)共存，數(shù)據(jù)沒有特征模式或者特征模式不明顯，缺乏語法和語義，具有很強的混雜性和模糊性。

·時效強主要指時效性強，要求實時分析，希望立竿見影而非事后見效，因此需要強大的計算處理能力和及時的數(shù)據(jù)服務(wù)。

·價值大主要指知識的聚合、產(chǎn)生的價值大，大數(shù)據(jù)具有大量的不相關(guān)信息，價值密度相對較低，需要復(fù)雜的統(tǒng)計、關(guān)聯(lián)、挖掘和深度分析，來對顯式規(guī)律、隱式規(guī)律、未知規(guī)律、發(fā)展趨勢等進行分析和預(yù)測。

2.3大數(shù)據(jù)的作用

對于大數(shù)據(jù)，你信與不信，它已存在；你喜不喜歡，它迅猛而來。

對于大數(shù)據(jù)，你用它就會有用，就會產(chǎn)生價值；你不用它就是垃圾，而且不只是垃圾。

（1）大數(shù)據(jù)的負面影響

任何事物都有兩面性，大數(shù)據(jù)亦如此！

·信息垃圾。大數(shù)據(jù)的規(guī)模大、冗余多、類型復(fù)雜，如果不能加以利用，它就是信息垃圾。另外還需要大量的存儲資源、計算資源和人力資源來維護和處理，需要消耗大量的能源，不利于可持續(xù)發(fā)展。因此我們需要倡導(dǎo)健康的信息觀念，不要隨意產(chǎn)生和傳播信息垃圾。

·隱私威脅?；ヂ?lián)網(wǎng)已經(jīng)對用戶的隱私產(chǎn)生很大的影響，在大數(shù)據(jù)時代隱私威脅會更加嚴(yán)重。通過大數(shù)據(jù)可以獲得一個用戶更多的信息，并且通過關(guān)聯(lián)分析，可以獲取其行為軌跡、興趣愛好、社會關(guān)系、買賣信息等，對用戶的隱私安全造成了極大的威脅。

·數(shù)據(jù)濫用。大數(shù)據(jù)的價值不再單純來源于它的基本用途，而更多源于它的二次或多次利用，會產(chǎn)生許多不可預(yù)見的影響，這些影響會有意或無意地威脅到用戶的切身利益和隱私安全。如果被用于惡意濫用，甚至?xí)?yán)重侵犯用戶的人身和財產(chǎn)等安全。

（2）大數(shù)據(jù)的正面作用

垃圾也可變廢為寶，大數(shù)據(jù)亦是如此！

·發(fā)現(xiàn)規(guī)律。以前人類只能“以一斑而窺全局”，經(jīng)常是“瞎子摸象”，只知其一不知其二。有了大數(shù)據(jù)，我們就有了感知世界和認(rèn)識世界的能力和手段，不僅通過簡單的統(tǒng)計分析就可以發(fā)現(xiàn)事物的顯式規(guī)律，而且通過深入的挖掘可以發(fā)現(xiàn)事物的隱式規(guī)律，可以做到全面、實時、準(zhǔn)確地認(rèn)識世界和感知世界。

·關(guān)聯(lián)分析。一個數(shù)據(jù)可能沒有意義或價值，但數(shù)據(jù)多了，不僅可以探測數(shù)據(jù)之間的因果關(guān)系（縱向，解決事出有因的問題），而且可以分析數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系（橫向，解決相互作用的問題），通過幾個維度可以更加清晰和準(zhǔn)確地分析一個事物的全貌。

當(dāng)數(shù)據(jù)以數(shù)量級方式增長的時候，可以觀察到許多似是而非的關(guān)聯(lián)關(guān)系，通過大數(shù)據(jù)的關(guān)聯(lián)性分析可以更準(zhǔn)確、更快捷地獲得全貌信息和潛在價值，并且不受偏見的影響。關(guān)聯(lián)性分析通過探求“是什么”，而不是“為什么”，可以更好地了解世界，掌握以前無法理解的復(fù)雜技術(shù)和社會動態(tài)。

·輔助決策。通過大數(shù)據(jù)的分析，可以建立和刻畫事物的行為軌跡和生命周期，繼而可以輔助用戶做出決策。例如，商業(yè)追蹤和交易分析等報告形式的輔助決策；故障分析、異常檢測等診斷形式的輔助決策；產(chǎn)品評測、廣告投放等評估形式的輔助決策等。大數(shù)據(jù)有價值的一個很重要原因就是它能夠幫助我們做出決策。

·趨勢預(yù)測。通過大數(shù)據(jù)，不僅可以分析和掌握事物的發(fā)展規(guī)律，而且可以預(yù)測未來的發(fā)展趨勢，進行態(tài)勢感知，做到未雨綢繆。大數(shù)據(jù)是人們獲得新認(rèn)知、創(chuàng)造新價值的源泉。

大數(shù)據(jù)正如火如荼地在業(yè)界展開應(yīng)用，典型的代表就是互聯(lián)網(wǎng)巨頭：Google、Amazon、Facebook等。隨著大數(shù)據(jù)的演進，不僅越來越多的互聯(lián)網(wǎng)企業(yè)會進入大數(shù)據(jù)的產(chǎn)業(yè)，而且更多的傳統(tǒng)企業(yè)也會進軍大數(shù)據(jù)。

3 大數(shù)據(jù)的未來

大數(shù)據(jù)即將引發(fā)第3次科技浪潮和技術(shù)變革，既是我們的機遇，也是面臨的挑戰(zhàn)。

（1）“數(shù)據(jù)科學(xué)”的出現(xiàn)。任何事物都會由量變引發(fā)質(zhì)變，大數(shù)據(jù)也是如此！大數(shù)據(jù)不斷的快速膨脹，可能很快就會超出我們的認(rèn)知和處理能力，需要新的科學(xué)理論，去引發(fā)新的學(xué)科——數(shù)據(jù)科學(xué)；需要新的數(shù)學(xué)理論、計算模型和處理方法，去引發(fā)多元創(chuàng)新。

（2）思維理念的轉(zhuǎn)變。大數(shù)據(jù)不是一個概念，而是一個思維理念，需要對傳統(tǒng)的思維理念進行5個方面的轉(zhuǎn)變。第1個轉(zhuǎn)變是：在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，甚至是某個事物的全集數(shù)據(jù)，并且“樣本”可以等于“總體”，因此我們可以洞察全局、整體和所有，而不是需要隨機抽樣和多級抽樣；第2個轉(zhuǎn)變是：在大數(shù)據(jù)時代，因為數(shù)據(jù)量非常龐大，我們可以不再熱衷于追求精確性，而是可以適當(dāng)忽略微觀層面的精確性而專注于宏觀層面的洞察力，偏重于用概率說話，接受混亂和不精確性，我們可能會因此打開一扇新的窗戶，寬容錯誤可能會帶來更多價值；第3個轉(zhuǎn)變是：在大數(shù)據(jù)時代，尋找因果關(guān)系不再是長久以來的習(xí)慣，我們將更側(cè)重于尋找事物之間的關(guān)聯(lián)關(guān)系，這會讓我們發(fā)現(xiàn)新的潛在價值，這正是大數(shù)據(jù)的關(guān)鍵；第4個轉(zhuǎn)變是：大數(shù)據(jù)時代的簡單算法比小數(shù)據(jù)時代的復(fù)雜算法更有效，所以我們要尋找更為有效的簡單算法；第5個轉(zhuǎn)變是：數(shù)據(jù)的價值從基本用途轉(zhuǎn)變?yōu)闈撛谟猛荆瑪?shù)據(jù)的價值不會隨著它的使用而減少，而是可以不斷地被處理和利用，并不斷地產(chǎn)生價值，即數(shù)據(jù)可以被無限利用，而不是一次性消費[3]。

（3）全面數(shù)據(jù)的掌握。大數(shù)據(jù)的核心是數(shù)據(jù)，誰擁有數(shù)據(jù)，誰就有話語權(quán)，誰就能搶占制高點。因此，一是要花大氣力全面、實時、準(zhǔn)確地獲取數(shù)據(jù)，這是“本”；二是要對大數(shù)據(jù)進行科學(xué)的分析、規(guī)范、整理，洞察數(shù)據(jù)的豐富特性，這對數(shù)據(jù)的分析和利用可以起到事半功倍的效果！

（4）潛在價值的挖掘。有了大數(shù)據(jù)，掌握了多個數(shù)據(jù)源，就可以從多個角度把握事物。更為重要的是，大數(shù)據(jù)之間存在著相互聯(lián)系，通過關(guān)聯(lián)性分析可以獲得潛在價值，可以創(chuàng)造新的發(fā)現(xiàn)，并預(yù)測未來。大數(shù)據(jù)的精髓就是挖掘出龐大數(shù)據(jù)中一些獨有的價值！

（5）核心技術(shù)的研發(fā)。有了數(shù)據(jù)，有了需求，就要研究和提出合適的統(tǒng)計、分析、挖掘、關(guān)聯(lián)和預(yù)測模型，設(shè)計高效的處理方法和手段，構(gòu)建精細的處理流程，設(shè)計精美的可視化界面和工具，做出一個好的大數(shù)據(jù)分析系統(tǒng)和產(chǎn)品，從而發(fā)現(xiàn)規(guī)律、產(chǎn)生價值，為客戶乃至世界帶來新的價值增長。

4 結(jié)束語

大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型，大數(shù)據(jù)的科學(xué)價值和社會價值主要體現(xiàn)在兩個方面：一方面大數(shù)據(jù)可以轉(zhuǎn)化為經(jīng)濟價值的源泉；另一方面，大數(shù)據(jù)已經(jīng)開始撼動世界的各個方面。

大數(shù)據(jù)蘊藏著巨大的寶藏，就像傳統(tǒng)的石油、天然氣、金礦等一樣，就看你是否有能力挖到？能挖到多少？大數(shù)據(jù)的時代洶涌而來，我們要迎頭而上，避免錯失良機！

參考文獻

[1] 大數(shù)據(jù)史記2013：盤點中國2013行業(yè)數(shù)據(jù)量[EB/OL]. http：//www.36dsj.com/archives/6285

[2] 城田真琴.大數(shù)據(jù)的沖擊[M].周自恒，譯.北京：人民郵電出版社， 2013.

[3] 維克托.邁爾-舍恩伯格， 肯尼恩.庫克， 大數(shù)據(jù)時代-生活、工作與思維的大變革[M].盛楊燕、周濤，譯. 杭州： 浙江人民出版社， 2013.