對大數(shù)據(jù)的發(fā)展及思考

隨著物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、下一代互聯(lián)網(wǎng)和云計算技術(shù)的發(fā)展，人類社會進入了“BIG DATA”時代，全球數(shù)據(jù)生產(chǎn)在高速增長。根據(jù)IBM的統(tǒng)計，每天會產(chǎn)生超過2.5×1018字節(jié)的信息，全球90%的數(shù)據(jù)都是在過去兩年里生成的。據(jù)IDC預(yù)測，未來10年全球數(shù)據(jù)量將以40%的速度增長，2020年全球數(shù)據(jù)量將達到35ZB，為2009年的44倍。

大數(shù)據(jù)的概念及發(fā)展

大數(shù)據(jù)概念最初起源于美國，是由思科、威睿、甲骨文、IBM等公司倡議發(fā)展起來的。大約從2009年始，“大數(shù)據(jù)”成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。

大數(shù)據(jù)已成為繼云計算等之后的全球性新熱點，其關(guān)鍵詞在全球范圍內(nèi)迅速升溫，短短四年間，“大數(shù)據(jù)”關(guān)鍵詞的搜索量指數(shù)雙倍增長。由維基百科可知，“大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合?！贝髷?shù)據(jù)，或者說海量數(shù)據(jù)，指的是在人類社會運用了現(xiàn)代信息技術(shù)之后，掌握了比以前數(shù)量大得多的各種數(shù)據(jù)。最早提出“大數(shù)據(jù)時代已經(jīng)到來”的機構(gòu)是全球知名咨詢公司麥肯錫。它是一個不斷演變的概念，當前的興起，是因為從IT技術(shù)到數(shù)據(jù)積累，都已經(jīng)發(fā)生重大變化。所謂大是相對的，隨著信息技術(shù)的發(fā)展，在這20多年里，我們討論的數(shù)據(jù)量從以K計算，發(fā)展到M、G、T、P等，每次都提高了三個數(shù)量級。

如今，大數(shù)據(jù)時代已經(jīng)來臨，它將在眾多領(lǐng)域掀起變革的巨浪。但我們要冷靜的看到，大數(shù)據(jù)的核心在于為客戶挖掘數(shù)據(jù)中蘊藏的價值，而不是軟硬件的堆砌。在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及個人位置服務(wù)等領(lǐng)域大數(shù)據(jù)將得到廣泛應(yīng)用，并產(chǎn)生巨大的社會價值和產(chǎn)業(yè)空間，預(yù)測2020年，大數(shù)據(jù)應(yīng)用市場規(guī)模將達到近2600 億美元。大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)的延伸，是對傳統(tǒng)數(shù)據(jù)在深度和廣度上的補充。發(fā)展大數(shù)據(jù)是促進政務(wù)信息資源開發(fā)利用的必然要求，是提高政府決策科學(xué)化水平的必然要求，是提高城市管理精細化水平的必然要求，是促進現(xiàn)代服務(wù)業(yè)發(fā)展的必然要求。

2012年3月29日，美國奧巴馬政府推出“大數(shù)據(jù)研究與開發(fā)計劃”，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強化美國的國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”。2014年年初，英國商業(yè)、創(chuàng)新和技能部宣布，將注資6億英鎊發(fā)展8類高新技術(shù)，其中對大數(shù)據(jù)的投資即達1.89億英鎊。法國政府為促進大數(shù)據(jù)領(lǐng)域的發(fā)展，將以培養(yǎng)新興企業(yè)、軟件制造商、工程師、信息系統(tǒng)設(shè)計師等為目標，開展一系列的投資計劃。法國政府在其發(fā)布的《數(shù)字化路線圖》中表示，將大力支持“大數(shù)據(jù)”在內(nèi)的戰(zhàn)略性高新技術(shù)。大數(shù)據(jù)“可愛又可怕”。一方面，大數(shù)據(jù)給人們的生活帶來了諸多方便，給企業(yè)提供了更多的商業(yè)機會；另一方面，大數(shù)據(jù)又增加了重要信息泄露的風(fēng)險，家庭住址、密碼、手機號碼、支付密碼等個人信息都存在被盜用的危險，有可能會給受害人造成較大的精神及財產(chǎn)損失。 數(shù)據(jù)的爆炸式增長出乎人們的想象，使得適應(yīng)和應(yīng)對數(shù)據(jù)增長成為整個社會關(guān)注的焦點，大數(shù)據(jù)的概念也在這一背景下誕生的。但是并不是所有的數(shù)據(jù)都可以稱其為大數(shù)據(jù)，大數(shù)據(jù)的判斷需要基于4個層面，即大數(shù)據(jù)的4V特性包括體量（Volume）、多樣性（Variety）、價值密度（Value）、速度（Velocity），體量指非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長，總數(shù)據(jù)量的80%～90%，比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍；多樣性指大數(shù)據(jù)的異構(gòu)和多樣性，很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)），模式或者模式不明顯，不連貫的語法或句義；價值密度指大量的不相關(guān)信息，對未來趨勢與模式的可預(yù)測分析，深度復(fù)雜分析（機器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能（咨詢、報告等）；速度指實時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效。

應(yīng)對大數(shù)據(jù)的幾點思考

大數(shù)據(jù)正成為繼云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點，是現(xiàn)有產(chǎn)業(yè)升級與新產(chǎn)業(yè)誕生的重要推動力量。大數(shù)據(jù)建設(shè)面臨機遇，也要面對挑戰(zhàn)。

很重要的一點便是個人隱私保護的問題。隨著許多部委信息化建設(shè)進入“數(shù)據(jù)大集中”階段，這些部門紛紛建設(shè)數(shù)據(jù)中心?，F(xiàn)在“雞蛋放在一個籃子里”，風(fēng)險比以前分散存儲的大。一旦出現(xiàn)信息安全問題，危害及影響面更大。透視“棱鏡門 ”不難發(fā)現(xiàn) ，信息技術(shù)的發(fā)展 ，使得獲取他人信息易于探囊取物，大數(shù)據(jù)時代的隱私與信息安全危機等問題已向全球發(fā)出預(yù)警。目前，人們生活越來越多地與互聯(lián)網(wǎng)發(fā)生關(guān)聯(lián)，而目前中國互聯(lián)網(wǎng)監(jiān)管還存在漏洞，相關(guān)法律法規(guī)還存在空白。個人數(shù)據(jù)有可能被濫用、隱私被侵犯、電信詐騙等網(wǎng)絡(luò)犯罪案件高發(fā)，犯罪手段花樣不斷翻新，令人擔(dān)憂。目前，許多國家都已經(jīng)出臺了個人隱私保護法。建議政府部門加強個人隱私保護立法工作，嚴厲打擊侵犯個人隱私的行為。對此我們應(yīng)當培植大數(shù)據(jù)產(chǎn)業(yè)鏈，促進數(shù)據(jù)技術(shù)研發(fā)。

政府層面，應(yīng)創(chuàng)造良好的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展環(huán)境。第一，制定大數(shù)據(jù)的技術(shù)標準和運營標準，鼓勵企業(yè)進行大數(shù)據(jù)相關(guān)技術(shù)研發(fā)與應(yīng)用創(chuàng)新，在海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、語音數(shù)據(jù)處理領(lǐng)域、視頻數(shù)據(jù)處理領(lǐng)域、語義識別領(lǐng)域、圖像數(shù)據(jù)處理領(lǐng)域、信息傳輸、信息安全等技術(shù)的研發(fā)領(lǐng)域設(shè)立重大專項，給予政策和財政資金支持；第二，加快 “ 寬帶中國”戰(zhàn)略的實施，大力加強網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)，突破關(guān)鍵技術(shù)，以基礎(chǔ)設(shè)施和技術(shù)創(chuàng)新保障大數(shù)據(jù)產(chǎn)業(yè)發(fā)展；第三，啟動大數(shù)據(jù)立法，從法律層面保障信息安全。

其次，建設(shè)政府部門數(shù)據(jù)網(wǎng)站。目前，全球已有30多個國家開通了政府數(shù)據(jù)網(wǎng)站。既有美國、德國、英國這樣的發(fā)達國家，也有秘魯、烏拉圭、智利、肯尼亞這樣的發(fā)展中國家。根據(jù)初步估算，政府部門掌握著80%以上的數(shù)據(jù)資源。建設(shè)政府數(shù)據(jù)網(wǎng)站，一方面可以推進政府信息公開，建設(shè)透明政府、陽光政府；另一方面，可以促進社會各界對政府信息資源的開發(fā)利用，帶動相關(guān)產(chǎn)業(yè)的發(fā)展。政府部門應(yīng)借鑒發(fā)達國家的先進經(jīng)驗，以政府數(shù)據(jù)網(wǎng)站為渠道，向社會免費公開非涉密的數(shù)據(jù)，促進這些數(shù)據(jù)資源的開發(fā)利用，使之轉(zhuǎn)變?yōu)樯鐣敻?，形成中國?jīng)濟新的增長點。

再者，堅持政府推動和市場主導(dǎo)相結(jié)合。市場需求是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的推動力量，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要發(fā)揮市場的配置作用。另外，政府也要積極考慮在公立醫(yī)院、大學(xué)、政府機關(guān)及事業(yè)單位推行大數(shù)據(jù)，也應(yīng)該在民營企業(yè)，尤其是那些IT行業(yè)的領(lǐng)軍企業(yè)，比如百度、騰訊、阿里巴巴等推行大數(shù)據(jù)業(yè)務(wù)，借大數(shù)據(jù)發(fā)展東風(fēng)調(diào)整發(fā)展戰(zhàn)略積極開展大數(shù)據(jù)業(yè)務(wù)。

此外，還要注重數(shù)據(jù)驅(qū)動內(nèi)容生產(chǎn)與傳播，提升傳媒核心競爭力。大數(shù)據(jù)背景下的媒體轉(zhuǎn)型，在處理好硬件架構(gòu)、應(yīng)用系統(tǒng)、人才隊伍等基礎(chǔ)問題之后，就必須確立明確的發(fā)展方向，即數(shù)據(jù)驅(qū)動的內(nèi)容生產(chǎn)與傳播。數(shù)據(jù)驅(qū)動內(nèi)容傳播，將會使定制化、精準化和個性化的信息平臺成為一種發(fā)展趨勢。

面向個人的信息推送服務(wù)，媒介是移動終端 ，應(yīng)用是移動互聯(lián)，賣點是定制、精準和個性化，它能在最短時間內(nèi)，最有效率、最具針對性地滿足個性化信息需求。endprint