華南
“數(shù)據(jù),已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?!边@是全球知名咨詢公司麥肯錫對大數(shù)據(jù)時代的描述和預(yù)測
不論是以4比1戰(zhàn)勝韓國著名圍棋手李世石的圍棋人工智能程序“阿爾法狗”AlphaGo,還是在大街上恣意奔行的谷歌無人駕駛汽車,這個時代,都因?yàn)閿?shù)據(jù)的爆棚而變得不同。
“數(shù)據(jù),已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。”這是最早提出“大數(shù)據(jù)”時代到來的全球知名咨詢公司麥肯錫對大數(shù)據(jù)時代的描述和預(yù)測。
不論你是否愿意,大數(shù)據(jù)時代已經(jīng)到來,潮水拍打激起的浪花,深深浸潤進(jìn)每一處罅隙。
由來已久的“大數(shù)據(jù)”
大數(shù)據(jù)(big data),指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。
美國統(tǒng)計(jì)學(xué)家赫爾曼·霍爾瑞斯為了統(tǒng)計(jì)1890年的人口普查數(shù)據(jù)發(fā)明了一臺電動器來讀取卡片上的洞數(shù),該設(shè)備讓美國用一年時間就完成了原本耗時8年的人口普查活動,由此在全球范圍內(nèi)引發(fā)了數(shù)據(jù)處理的新紀(jì)元。
2011年5月,全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發(fā)布了一份報告——《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》,大數(shù)據(jù)開始備受關(guān)注,這也是專業(yè)機(jī)構(gòu)第一次全方面介紹和展望大數(shù)據(jù)。報告指出,大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。報告還提到,“大數(shù)據(jù)”源于數(shù)據(jù)生產(chǎn)和收集的能力和速度的大幅提升——由于越來越多的人、設(shè)備和傳感器通過數(shù)字網(wǎng)絡(luò)連接起來,產(chǎn)生、傳送、分享和訪問數(shù)據(jù)的能力也得到徹底變革。
2012年3月22日,奧巴馬政府宣布2億美元投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)技術(shù)從商業(yè)行為上升到國家科技戰(zhàn)略的分水嶺,在次日的電話會議中,政府對數(shù)據(jù)的定義“未來的新石油”,大數(shù)據(jù)技術(shù)領(lǐng)域的競爭,事關(guān)國家安全和未來。數(shù)字主權(quán)將是繼邊防、海防、空防之后,另一個大國博弈的空間。
庫克爾在報告中提到:“世界上有著無法想象的巨量數(shù)字信息,并以極快的速度增長。從經(jīng)濟(jì)界到科學(xué)界,從政府部門到藝術(shù)領(lǐng)域,很多方面都已經(jīng)感受到了這種巨量信息的影響?!?/p>
大數(shù)據(jù)在中國
阿里巴巴董事局主席馬云說:“互聯(lián)網(wǎng)還沒搞清楚的時候,移動互聯(lián)就來了,移動互聯(lián)還沒搞清楚的時候,大數(shù)據(jù)就來了?!?/p>
進(jìn)入2012年,大數(shù)據(jù)(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它已經(jīng)上過《紐約時報》《華爾街日報》的專欄封面,進(jìn)入美國白宮官網(wǎng)的新聞,現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中,甚至被嗅覺靈敏的證券公司寫進(jìn)投資推薦報告。
數(shù)據(jù)正在迅速膨脹并變大,它決定著企業(yè)的未來發(fā)展,雖然很多企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性。
2014年全國兩會期間,全國人大代表雷軍提交《關(guān)于加快實(shí)施大數(shù)據(jù)國家戰(zhàn)略的建議》,里面有不少亮點(diǎn),但有一個格外引人注意,即政府分享數(shù)據(jù)。對中國而言,發(fā)展大數(shù)據(jù)還缺什么?缺人、缺錢、缺技術(shù)還是缺設(shè)施?是的,這些基礎(chǔ)條件都缺,這也是要發(fā)展大數(shù)據(jù)的難點(diǎn)所在。但更重要的是,缺數(shù)據(jù)。有人要問,怎么會缺數(shù)據(jù)呢?中國互聯(lián)網(wǎng)、中國各部委及各大小公司企業(yè),數(shù)據(jù)明明不少,但這些機(jī)構(gòu)都是數(shù)據(jù)孤島,彼此不流通不鏈接不共享。數(shù)據(jù)共享,是建設(shè)大數(shù)據(jù)的一個很重要的因素。
著名信息管理專家涂子沛則在所著《大數(shù)據(jù)》一書中提出更嚴(yán)峻的“大數(shù)據(jù)挑戰(zhàn)”:“收集數(shù)據(jù)、使用數(shù)據(jù)、開放數(shù)據(jù),都是大數(shù)據(jù)時代我們中國人需要一一面對的挑戰(zhàn)。這三大挑戰(zhàn),沒有一個不是任重道遠(yuǎn)。但這些挑戰(zhàn),也是我們在大數(shù)據(jù)時代徹底摘掉‘差不多先生文化標(biāo)簽的重大歷史機(jī)遇。如果在這個數(shù)據(jù)意義凸顯的時代,我們還抓不住這些歷史機(jī)遇,繼續(xù)漠視數(shù)據(jù)、拒絕精準(zhǔn)、故步自封,等待我們的,還將是一個落后的100年?!?/p>
吞噬與重構(gòu)
2010年10月23日《衛(wèi)報》利用維基解密的數(shù)據(jù)做了一篇“數(shù)據(jù)新聞”。將伊拉克戰(zhàn)爭中所有的人員傷亡情況均標(biāo)注于地圖之上。地圖上一個紅點(diǎn)便代表一次死傷事件,鼠標(biāo)點(diǎn)擊紅點(diǎn)后彈出的窗口則有詳細(xì)的說明:傷亡人數(shù)、時間,造成傷亡的具體原因。密布的紅點(diǎn)多達(dá)39萬,顯得格外觸目驚心。一經(jīng)刊出立即引起朝野震動,推動英國最終做出撤出駐伊拉克軍隊(duì)的決定。
“蘋果”創(chuàng)始人喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進(jìn)行排序的人。為此,他支付了高達(dá)幾十萬美元的費(fèi)用。他得到的不是樣本,而是包括整個基因的數(shù)據(jù)文檔。醫(yī)生按照所有基因按需下藥,最終這種方式幫助喬布斯延續(xù)了數(shù)年生命。
……
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進(jìn)行分析處理。IBM公司為大數(shù)據(jù)總結(jié)“5V”特點(diǎn),即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實(shí)性)。
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。哈佛大學(xué)社會學(xué)教授加里·金說:“這是一場革命,龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程,無論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開始這種進(jìn)程。”這個在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日的專業(yè)名詞,卻因互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。
“大數(shù)據(jù)”并不能生產(chǎn)出新的物質(zhì)產(chǎn)品,也不能創(chuàng)造出新的市場需求,但能夠讓生產(chǎn)力大幅提升。正如,《大數(shù)據(jù)時代:生活、工作與思維的大變革》作者肯尼思·庫克耶和維克托·邁爾-舍恩伯格指出:數(shù)據(jù)的方式出現(xiàn)了3個變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對精確性的追求;第三,人類通過對大數(shù)據(jù)的處理,放棄對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相互聯(lián)系。這一切代表著人類告別總是試圖了解世界運(yùn)轉(zhuǎn)方式背后深層原因的態(tài)度,而走向僅僅需要弄清現(xiàn)象之間的聯(lián)系以及利用這些信息來解決問題。
大數(shù)據(jù)代名詞Hadoop,這個由Apa che基金會所在2006年開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu),短短10年間已經(jīng)從一項(xiàng)邊緣技術(shù)成為大數(shù)據(jù)事實(shí)上的標(biāo)準(zhǔn)。然而同樣值得令人關(guān)注的是,在喜新厭舊的技術(shù)初創(chuàng)企業(yè)界,已有幾年歷史“大數(shù)據(jù)”聽起來似乎已經(jīng)過氣。
2016年,Hadoop也被指將處于十字路口,有人繼續(xù)看好其發(fā)展,也有人說它不知未來何去何從。但不論怎樣,置身于波瀾壯闊的大數(shù)據(jù)時代的人類社會再回不到過去。在看得見的明天,融入地理信息、社會經(jīng)濟(jì)等多維度數(shù)據(jù),能夠讓人們知道下一刻哪里可能會發(fā)生什么,比如這陣風(fēng)是否會吹翻門口的廣告牌,前面一個高速路口是不是在下雨堵車。而在看不見的未來,大數(shù)據(jù)時代的生存規(guī)則也將被每一個生產(chǎn)數(shù)據(jù)的你和我來書寫。
責(zé)任編輯 王海珍