大數(shù)據(jù)時代：機遇、挑戰(zhàn)與思考

王興偉

大數(shù)據(jù)一詞最早出現(xiàn)于1980年，是由著名未來學(xué)家阿爾文-托夫勒在自己的《第三次浪潮》一書中提出來的。當(dāng)時的阿爾文·托夫勒將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。大約到了2009年，大數(shù)據(jù)這一詞才成為信息領(lǐng)域的流行詞匯。據(jù)悉，互聯(lián)網(wǎng)上的數(shù)據(jù)每年大約會增長40%，每兩年便會翻一番，目前世界上90%的數(shù)據(jù)是在近幾年才產(chǎn)生的。2010年以互聯(lián)網(wǎng)為基礎(chǔ)所產(chǎn)生的數(shù)據(jù)比之前所有年份的數(shù)據(jù)總和還多，不僅數(shù)據(jù)量在激增，而且數(shù)據(jù)結(jié)構(gòu)也在發(fā)生演變。

大數(shù)據(jù)的特點

除數(shù)據(jù)激增、數(shù)據(jù)結(jié)構(gòu)演變等最基本的特點外，個人還認(rèn)為大數(shù)據(jù)具有以下幾個特點：一是變化性，即數(shù)據(jù)隨著事物的變化而變化；二是真?zhèn)涡?，我們獲得的數(shù)據(jù)不完全是可信的，有可能是有問題的，收集到的數(shù)據(jù)并不是我們所預(yù)期的，也不是我們所需要的；三是價值易時性，數(shù)據(jù)的價值有一定時效，時過境遷，如股市數(shù)據(jù)；四是易損性，數(shù)據(jù)有可能丟失，也可能被篡改；五是可視化，數(shù)據(jù)需要以合理的形式呈現(xiàn)給用戶，加以適當(dāng)表達，否則絕大多數(shù)用戶僅以數(shù)據(jù)是無法理解的；六是可驗證性，含有數(shù)據(jù)的分析結(jié)果必須是可以驗證的，得以驗證其正確與否。

大數(shù)據(jù)會提供怎樣的機遇與挑戰(zhàn)

大數(shù)據(jù)已成為繼云計算、物聯(lián)網(wǎng)后IT領(lǐng)域的又一次重大變革，它提供了難得的洗牌機會，數(shù)據(jù)已成為國家的寶貴財富、單位的核心資產(chǎn)，影響極其深遠(yuǎn)，并不局限于IT領(lǐng)域，實際上它對國家的治理模式、企事業(yè)單位的決策組織業(yè)務(wù)流程、個人的生活方式都可能產(chǎn)生很大的影響。如致力于管理的層級更加扁平化，網(wǎng)民和消費者的界限正在逐漸消失，過去網(wǎng)民是網(wǎng)民，消費者是消費者，而如今網(wǎng)民在瀏覽的同時便可以完成消費行為。另外，充分地利用大數(shù)據(jù)，高效地分析信息，可以準(zhǔn)確的捕捉需求，滿足受眾需要。例如每天收到的垃圾廣告，但通過數(shù)據(jù)對網(wǎng)民上網(wǎng)習(xí)慣進行分析，便可以推送相應(yīng)的廣告。單位的界限也變得模糊，業(yè)務(wù)模式、文化和組織都需要進行重構(gòu)。

大數(shù)據(jù)技術(shù)需要關(guān)注的是如何解決在大數(shù)據(jù)收集、處理、存儲、傳送、管理和維護過程中突破和發(fā)現(xiàn)的關(guān)鍵技術(shù)。再次，是大數(shù)據(jù)工程，我們需要構(gòu)建大數(shù)據(jù)的規(guī)劃、運營和管理的系統(tǒng)工程。最后，其實也是最重要的，是開發(fā)大數(shù)據(jù)應(yīng)用，基于大數(shù)據(jù)解決現(xiàn)實問題才是根本所在。應(yīng)該說發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)已經(jīng)具備，即已經(jīng)有了無所不在的信息聚集與積累，以及不斷在發(fā)展進度中的信息采集、存儲、分析和挖掘技術(shù)。發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的動力也已經(jīng)形成，遍布世界采集不盡的信息資源為發(fā)展大數(shù)據(jù)產(chǎn)業(yè)提供了可能?？此坪翢o意義的數(shù)據(jù)，經(jīng)過技術(shù)處理可以轉(zhuǎn)換成有交換價值和使用價值的信息，這就為企業(yè)創(chuàng)造財富提供了可能。

發(fā)展大數(shù)據(jù)產(chǎn)業(yè)應(yīng)該是迫在眉睫，從狹義的角度出發(fā)看待大數(shù)據(jù)產(chǎn)業(yè)就是發(fā)展與大數(shù)據(jù)的采集、處理、存儲、管理、運行、維護等相關(guān)的IT產(chǎn)業(yè)，要開發(fā)相應(yīng)的軟硬件設(shè)備、建設(shè)大數(shù)據(jù)中心等等；從廣義的角度發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，就是要與消費、生產(chǎn)領(lǐng)域相融合，發(fā)展大數(shù)據(jù)應(yīng)用產(chǎn)業(yè)，如醫(yī)療健康大數(shù)據(jù)、交通數(shù)據(jù)、運輸大數(shù)據(jù)等等。與此同時，培育大數(shù)據(jù)相關(guān)人才也刻不容緩，麥肯錫預(yù)測，到2018年，僅美國就需要深度數(shù)據(jù)分析人才44萬到49萬，缺口14萬到19萬，需要既熟悉本單位的業(yè)務(wù)需求、又了解大數(shù)據(jù)技術(shù)與應(yīng)用的人才150萬，我國的需求一定會更大。

為此，中國已將大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)優(yōu)先發(fā)展列為戰(zhàn)略新興產(chǎn)業(yè)。國務(wù)院于2015年5月8日發(fā)布了《中國制造2025》，明確提出要加強高端服務(wù)器大容量存儲設(shè)施建設(shè)，促進云計算和大數(shù)據(jù)應(yīng)用。2015年7月1日發(fā)布了《推進“互聯(lián)網(wǎng)+”行動指導(dǎo)意見》，也明確了大數(shù)據(jù)設(shè)施的建設(shè)目標(biāo)，提出了鼓勵大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)技術(shù)開發(fā)的政策，承諾推動公共數(shù)據(jù)資源開放。2015年8月9日，國務(wù)院又通過了《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》（以下簡稱《綱要》），在《綱要》中明確指出要推動政府信息系統(tǒng)和公共數(shù)據(jù)的互聯(lián)互享，消除信息孤島，整合各類政府信息平臺，避免重復(fù)建設(shè)和數(shù)據(jù)打架，增強政府的公信力，促進社會信用體系建設(shè)。國家要推動交通、醫(yī)療、就業(yè)、社保等民生領(lǐng)域，政府?dāng)?shù)據(jù)向社會開放，在城市建設(shè)、社會救助、質(zhì)量安全、社區(qū)服務(wù)等方面開展大數(shù)據(jù)應(yīng)用與示范，提高社區(qū)的治理水平。

國家要順應(yīng)潮流，引導(dǎo)支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，以企業(yè)為主體、以市場為導(dǎo)向，加大政策支持，著力營造寬松、公平的競爭環(huán)境，建立市場化應(yīng)用機制，深化大數(shù)據(jù)在各個行業(yè)的創(chuàng)新應(yīng)用，催生新業(yè)態(tài)、新模式，形成與需求緊密結(jié)合的大數(shù)據(jù)產(chǎn)品體系，使開放的大數(shù)據(jù)成為促進創(chuàng)新創(chuàng)業(yè)的新動力，強化信息安全保障，完善產(chǎn)業(yè)標(biāo)準(zhǔn)體系，依法依規(guī)打擊數(shù)據(jù)濫用、侵犯隱私等行為，讓各類主體公平分享大數(shù)據(jù)帶來的技術(shù)、制度和創(chuàng)新的紅利。

大數(shù)據(jù)帶來的啟示與思考

研究的超前性。其實早在1980年托夫勒便指出了大數(shù)據(jù)的極端重要性和美好未來。假設(shè)我們早在1980年就意識到大數(shù)據(jù)的極端重要性，超前部署相關(guān)研發(fā)工作，那么目前的局面又會如何。因此，我們在尋求引領(lǐng)發(fā)展和先發(fā)優(yōu)勢時，它呼喚著極具前瞻眼光的戰(zhàn)略思維和視野，這也告訴高等學(xué)校必須做超前的人才培養(yǎng)，必須做明天的科學(xué)研究；企業(yè)必須有超前的技術(shù)儲備，為明天產(chǎn)品的開發(fā)做積累，如華為等智能手機的成功不是偶然的，就在于其前瞻性的布局。

人才培養(yǎng)與知識體系的快速適應(yīng)性。面向未來的人力資源需求，如今的IT類專業(yè)人才的培養(yǎng)模式、知識體系、實驗課程設(shè)置應(yīng)如何應(yīng)對？如何培養(yǎng)復(fù)合型人才等都是高等教育領(lǐng)域需要考慮的問題。個人認(rèn)為，不宜過多設(shè)立過度的大數(shù)據(jù)專業(yè)與學(xué)院。從狹義的大數(shù)據(jù)角度來看，更多的是要將大數(shù)據(jù)作為計算機和軟件工程等專業(yè)方向，面向大數(shù)據(jù)對IT技術(shù)提出的新要求，如對計算機系統(tǒng)結(jié)構(gòu)、硬件結(jié)構(gòu)設(shè)計、網(wǎng)絡(luò)體系結(jié)構(gòu)、軟件體系結(jié)構(gòu)、編程模式等提出的新要求，數(shù)據(jù)采集、存儲、組織、訪問管理等面臨新的要求來培養(yǎng)專業(yè)人才。從廣義大數(shù)據(jù)的角度來看，更多地應(yīng)與其他專業(yè)相交叉，培育大數(shù)據(jù)方向的復(fù)合人才，如金融大數(shù)據(jù)、工業(yè)大數(shù)據(jù)、交通大數(shù)據(jù)等，這樣才能更好地適應(yīng)大數(shù)據(jù)在行業(yè)發(fā)展的需要。因此，高等教育必須迅速適應(yīng)大數(shù)據(jù)要求，適時進行專業(yè)培養(yǎng)方向轉(zhuǎn)型，這樣便不會出現(xiàn)在幾年后面臨巨大的人才需求所謂的人才過剩及人才匱乏等現(xiàn)象。但在人才培養(yǎng)過程中切忌跟風(fēng)，不要盲目蜂擁而上，必須看清自己是否有真正意義上的教師資源，否則也不會達到很好的效果。

加快發(fā)展大數(shù)據(jù)產(chǎn)業(yè)。一個產(chǎn)業(yè)的興旺發(fā)達必須具備以下兩點：一個是市場需求。沒有市場需求的產(chǎn)業(yè)不可能長久。另一個是與產(chǎn)業(yè)相關(guān)的各個主體的利益保障，主體權(quán)益得不到保障，便沒有發(fā)展產(chǎn)業(yè)的動力。在完善大數(shù)據(jù)產(chǎn)業(yè)政策的過程中必須考慮解決如下的問題：社會成員隱私權(quán)的保護、社會各類主體信息所有權(quán)的保護、公共數(shù)據(jù)資源開放與國家安全的甄別。思考這些問題不僅是政策制定者的責(zé)任，也是大數(shù)據(jù)技術(shù)開發(fā)工作者的責(zé)任，在數(shù)據(jù)進行專業(yè)化處理的過程中必須兼顧隱私的保護和數(shù)據(jù)資源公共安全的保護。在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的過程中必須科學(xué)布局、理性發(fā)展，切忌低水平的重復(fù)建設(shè)。如今到處在建大數(shù)據(jù)中心、智慧城市，但這些并不等于大數(shù)據(jù)產(chǎn)業(yè)中的全部。我們需要適當(dāng)聚焦基礎(chǔ)理論、關(guān)鍵技術(shù)及核心軟硬件產(chǎn)品的突破，需要進一步梳理需求、開發(fā)大數(shù)據(jù)應(yīng)用才能使大數(shù)據(jù)落地生根，需要選擇置換應(yīng)用發(fā)展才能使得大數(shù)據(jù)在中國更好地普及。

在此過程中一定要注重與其他關(guān)鍵技術(shù)領(lǐng)域的協(xié)同發(fā)展。如與云計算、物聯(lián)網(wǎng)等的協(xié)同發(fā)展，云計算本身可以為大數(shù)據(jù)提供解決方案，物聯(lián)網(wǎng)是數(shù)據(jù)采集和獲取的主要手段。同時在發(fā)展大數(shù)據(jù)時要注重與國家戰(zhàn)略的聯(lián)動統(tǒng)籌，如互聯(lián)網(wǎng)+、中國制造2025等的聯(lián)動統(tǒng)籌，這樣才能更好地推動中國社會經(jīng)濟發(fā)展的提效。另外一方面，隨著數(shù)據(jù)處理技術(shù)的圖片，特別是圖像語音等分析處理技術(shù)，大數(shù)據(jù)已不像如今理解的那么大。大數(shù)據(jù)量很大，但價值不一。真正有用的數(shù)據(jù)是呈現(xiàn)某種狀況，如安全事件幾秒的影響。如今無法實時理解和分析發(fā)生事件的信息。因此，隨著數(shù)據(jù)處理技術(shù)的發(fā)展，大數(shù)據(jù)可能沒有今天想象的那么大了。

（作者系東北大學(xué)軟件學(xué)院院長、教授）