武 鋒
?
加快大數(shù)據(jù)發(fā)展是大勢所趨
武鋒
摘要:隨著云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新一代信息技術的迅猛發(fā)展,數(shù)據(jù)已日益成為土地、資本、技術之后的又一種重要的生產(chǎn)要素,并將必然是全球各個國家和地區(qū)爭奪的重要資源。誰掌握數(shù)據(jù)的主動權和主導權,誰就能贏得未來。目前,美國、歐盟、日本等發(fā)達國家和地區(qū)已紛紛出臺了相關的政策措施以促進大數(shù)據(jù)應用與發(fā)展。本文將通過研究國外發(fā)達地區(qū)大數(shù)據(jù)發(fā)展的實踐,分析我國大數(shù)據(jù)的發(fā)展現(xiàn)狀和存在的問題與挑戰(zhàn),并在借鑒國外先進經(jīng)驗的基礎上,提出推動我國大數(shù)據(jù)快速、健康發(fā)展的合理化建議。
關鍵詞:大數(shù)據(jù)開放共享趨勢
前言
隨著云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新一代信息技術的迅猛發(fā)展,數(shù)據(jù)的數(shù)量、規(guī)模不斷擴大,數(shù)據(jù)已日益成為土地、資本、技術之后的又一種重要的生產(chǎn)要素,并將必然是全球各個國家和地區(qū)爭奪的重要資源。誰掌握數(shù)據(jù)的主動權和主導權,誰就能贏得未來。奧巴馬政府將數(shù)據(jù)定義為“未來的新石油”,認為一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分,對數(shù)據(jù)的占有和控制將成為繼陸權、海權、空權之外的另一個國家核心權力。在此情況下,一個全新的概念——大數(shù)據(jù)(Big Data)開始風靡全球??梢灶A見,新一輪的國際競爭尤其是大國競爭,在很大程度上是通過大數(shù)據(jù)增強對世界局勢的掌控力和主導權。目前,美國、歐盟、日本等發(fā)達國家和地區(qū)已相繼出臺了相關的戰(zhàn)略規(guī)劃和配套法規(guī)以促進大數(shù)據(jù)應用與發(fā)展,致力于利用大數(shù)據(jù)來進一步增強自身的綜合競爭力。
近年來,我國數(shù)據(jù)生成能力空前提升,數(shù)據(jù)呈現(xiàn)井噴式的爆發(fā)性增長,大數(shù)據(jù)應用已經(jīng)滲透到各個行業(yè)和領域。在此背景下,我國也充分認識到大數(shù)據(jù)的重要性,相關部門先后頒布了《關于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》《關于促進大數(shù)據(jù)發(fā)展的行動綱要》等重要文件,希望通過發(fā)展大數(shù)據(jù),來提升政府治理能力、經(jīng)濟發(fā)展質(zhì)量乃至國家綜合實力。本文將通過研究國外發(fā)達地區(qū)大數(shù)據(jù)發(fā)展的實踐,分析我國大數(shù)據(jù)的發(fā)展現(xiàn)狀和存在的問題與挑戰(zhàn),并在借鑒國外先進經(jīng)驗的基礎上,提出推動我國大數(shù)據(jù)快速、健康發(fā)展的合理化建議。
一、大數(shù)據(jù)的概念與內(nèi)涵
(一)定義
“大數(shù)據(jù)”的概念早已有之,1980年著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中將大數(shù)據(jù)贊頌為“第三次浪潮的華彩樂章”。但是直到近幾年,“大數(shù)據(jù)”才與“云計算”“物聯(lián)網(wǎng)”一道,成為互聯(lián)網(wǎng)信息技術行業(yè)的流行詞匯。2008年,在谷歌成立10周年之際,著名的《自然》雜志出版了一期???,專門討論未來的大數(shù)據(jù)處理相關的一系列技術問題和挑戰(zhàn),其中就提出了“Big Data”(大數(shù)據(jù))的概念。2011年5 月,在“云計算相遇大數(shù)據(jù)” 為主題的EMC World 2011 會議中,易安信(EMC)也拋出了Big Data概念。所以,很多人認為,2011年是大數(shù)據(jù)元年。
此后,諸多專家、機構從不同角度提出了對大數(shù)據(jù)的理解。當然,由于大數(shù)據(jù)本身具有較強的抽象性,目前國際上尚沒有一個統(tǒng)一公認的定義。維基百科認為大數(shù)據(jù)是超過當前現(xiàn)有的數(shù)據(jù)庫系統(tǒng)或數(shù)據(jù)庫管理工具處理能力,處理時間超過客戶能容忍時間的大規(guī)模復雜數(shù)據(jù)集。全球排名第一的企業(yè)數(shù)據(jù)集成軟件商Informatica認為大數(shù)據(jù)包括海量數(shù)據(jù)和復雜數(shù)據(jù)類型,其規(guī)模超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)進行管理和處理的能力。亞馬遜網(wǎng)絡服務(AWS)、大數(shù)據(jù)科學家JohnRauser提到一個簡單的定義:大數(shù)據(jù)就是任何超過了一臺計算機處理能力的龐大數(shù)據(jù)量。百度搜索的定義為:“大數(shù)據(jù)”是一個體量特別大,數(shù)據(jù)類別特別大的數(shù)據(jù)集,并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進行抓取、管理和處理。互聯(lián)網(wǎng)周刊的定義為:“大數(shù)據(jù)”的概念遠不止大量的數(shù)據(jù)(TB)和處理大量數(shù)據(jù)的技術,或者所謂的“4個V”之類的簡單概念,而是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎上可以做的事情,而這些事情在小規(guī)模數(shù)據(jù)的基礎上是無法實現(xiàn)的。換句話說,大數(shù)據(jù)讓我們以一種前所未有的方式,通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務,或深刻的洞見,最終形成變革之力。
綜合上述不同的定義,我們認為,大數(shù)據(jù)至少應包括以下兩個方面:一是數(shù)量巨大,二是無法使用傳統(tǒng)工具處理。因此,大數(shù)據(jù)最重要的是如何使用。它強調(diào)的不僅是數(shù)據(jù)的規(guī)模,更強調(diào)從海量數(shù)據(jù)中快速獲得有價值信息和知識的能力。
(二)特征
一般認為,大數(shù)據(jù)主要具有以下四個方面的典型特征:規(guī)模性(Volume)、多樣性(Varity)、高速性(Velocity)和價值性(Value),即所謂的“4V”。
1.規(guī)模性。大數(shù)據(jù)的特征首先就體現(xiàn)為“數(shù)量大”,存儲單位從過去的GB(千兆字節(jié))到TB(1024GB),直至PB(1024TB)、EB(1024PB)。隨著信息技術的高速發(fā)展,數(shù)據(jù)開始爆發(fā)性增長。社交網(wǎng)絡(微博、推特、臉書)、移動網(wǎng)絡、各種智能終端等,都成為數(shù)據(jù)的來源。淘寶網(wǎng)近四億的會員每天產(chǎn)生的商品交易數(shù)據(jù)約20TB;臉書約10億的用戶每天產(chǎn)生的日志數(shù)據(jù)超過300TB。迫切需要智能的算法、強大的數(shù)據(jù)處理平臺和新的數(shù)據(jù)處理技術來統(tǒng)計、分析、預測和實時處理如此大規(guī)模的數(shù)據(jù)。
2.多樣性。廣泛的數(shù)據(jù)來源,決定了大數(shù)據(jù)形式的多樣性。大數(shù)據(jù)大體可分為三類:一是結(jié)構化數(shù)據(jù),如財務系統(tǒng)數(shù)據(jù)、信息管理系統(tǒng)數(shù)據(jù)、醫(yī)療系統(tǒng)數(shù)據(jù)等,其特點是數(shù)據(jù)間因果關系強;二是非結(jié)構化的數(shù)據(jù),如視頻、圖片、音頻等,其特點是數(shù)據(jù)間沒有因果關系;三是半結(jié)構化數(shù)據(jù),如HTML文檔、郵件、網(wǎng)頁等,其特點是數(shù)據(jù)間的因果關系弱。
3.高速性。與以往的檔案、廣播、報紙等傳統(tǒng)數(shù)據(jù)載體不同,大數(shù)據(jù)的交換和傳播是通過互聯(lián)網(wǎng)、云計算等方式實現(xiàn)的,遠比傳統(tǒng)媒介的信息交換和傳播速度快捷。大數(shù)據(jù)與海量數(shù)據(jù)的重要區(qū)別,除了大數(shù)據(jù)的數(shù)據(jù)規(guī)模更大以外,大數(shù)據(jù)對處理數(shù)據(jù)的響應速度有更嚴格的要求。實時分析而非批量分析,數(shù)據(jù)輸入、處理與丟棄立刻見效,幾乎無延遲。數(shù)據(jù)的增長速度和處理速度是大數(shù)據(jù)高速性的重要體現(xiàn)。
4.價值性。這也是大數(shù)據(jù)的核心特征。現(xiàn)實世界所產(chǎn)生的數(shù)據(jù)中,有價值的數(shù)據(jù)所占比例很小。相比于傳統(tǒng)的小數(shù)據(jù),大數(shù)據(jù)最大的價值在于通過從大量不相關的各種類型的數(shù)據(jù)中,挖掘出對未來趨勢與模式預測分析有價值的數(shù)據(jù),并通過機器學習方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析,發(fā)現(xiàn)新規(guī)律和新知識,并運用于農(nóng)業(yè)、金融、醫(yī)療等各個領域,從而最終達到改善社會治理、提高生產(chǎn)效率、推進科學研究的效果。
二、發(fā)達國家大數(shù)據(jù)的發(fā)展及經(jīng)驗啟示
(一)現(xiàn)狀
隨著網(wǎng)絡和信息技術的不斷普及,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長,大約每兩年翻一番,而且這個速度將在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。有關資料顯示,2011年,全球數(shù)據(jù)規(guī)模為1.8ZB(1024EB),可以填滿575億個32GB的iPad,這些iPad可以在我國修建兩座長城。到2020年,全球數(shù)據(jù)將達到40ZB,如果把它們?nèi)看嫒胨{光光盤,這些光盤和424艘尼米茲號航母重量相當。
在此情況下,許多國家和國際組織都認識到了大數(shù)據(jù)的重要作用。2012年7月,聯(lián)合國在紐約發(fā)布了一本關于大數(shù)據(jù)政務的白皮書《大數(shù)據(jù)促發(fā)展:挑戰(zhàn)與機遇》,總結(jié)了各國政府如何利用大數(shù)據(jù)響應社會需求,指導經(jīng)濟運行,更好地為人民服務,并建議成員國建立“脈搏實驗室”(Pulse Labs),挖掘大數(shù)據(jù)的潛在價值。美、歐、日等發(fā)達國家和地區(qū)也紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手,并制定實施了各自的大數(shù)據(jù)發(fā)展戰(zhàn)略。2012年1月,世界經(jīng)濟論壇年會把“大數(shù)據(jù)、大影響”作為重要議題,宣稱數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟資產(chǎn)類別,就像貨幣或黃金一樣。
1.美國。2010年,美國總統(tǒng)科學技術顧問委員會(PCAST)向奧巴馬和國會提交的《規(guī)劃數(shù)字化的的未來:美國總統(tǒng)科學技術顧問委員會給總統(tǒng)和國會的報告》指出,大數(shù)據(jù)技術具有重要戰(zhàn)略價值,而聯(lián)邦政府對其研發(fā)投資不足,建議聯(lián)邦政府“制定一個應對‘大數(shù)據(jù)’的戰(zhàn)略”。此后,奧巴馬政府著手采取了一系列主題為“我的大數(shù)據(jù)”(My Data Initiatives)的倡議和措施,分別為2010年發(fā)起的《“藍紐扣”計劃》、2012年發(fā)起的《“綠紐扣”計劃》、2012年發(fā)起的《“我的學生數(shù)據(jù)”計劃》和2014年發(fā)起《“創(chuàng)建副本”計劃》,旨在促進美國人可以更安全地獲取他們的個人數(shù)據(jù),從而更好地處理他們私人領域的申請活動和服務。2012年3月,美國投資兩億美元啟動了“大數(shù)據(jù)研究和發(fā)展”計劃,該計劃涉及國防部、能源部等六個聯(lián)邦政府部門,用以大力推進大數(shù)據(jù)的收集、訪問、組織和開發(fā)利用等相關技術的發(fā)展,進而大幅提高從海量復雜的數(shù)據(jù)中提煉信息和獲取知識的能力與水平。政府對大數(shù)據(jù)帶來的負面影響也更加重視,2014年5月,美國發(fā)布的白皮書《大數(shù)據(jù):抓住機遇,守護價值》提出:大數(shù)據(jù)正在改變世界。但是它并沒有改變美國人對于保護個人隱私、確保公平或是防止歧視的堅定信仰。
2.歐盟。歐盟于2011年12月公開頒布了《開放數(shù)據(jù)戰(zhàn)略》。它以開放數(shù)據(jù)為核心,以創(chuàng)新、增長和透明治理為引擎,將重點加強在數(shù)據(jù)處理技術、數(shù)據(jù)門戶網(wǎng)站和科研數(shù)據(jù)基礎設施三方面的投入,旨在歐洲企業(yè)與市民能自由獲取歐盟公共管理部門的所有信息,建立一個匯集不同成員國以及歐洲機構數(shù)據(jù)的“泛歐門戶”。目前,歐盟正在研究制定數(shù)據(jù)價值鏈戰(zhàn)略計劃,以實現(xiàn)數(shù)據(jù)的最大價值,尤其是所謂的“大數(shù)據(jù)”,重點是通過一個以數(shù)據(jù)為核心的連貫性歐盟生態(tài)體系,讓數(shù)據(jù)價值鏈的不同階段產(chǎn)生價值。數(shù)據(jù)價值鏈戰(zhàn)略計劃包括開放數(shù)據(jù)、云計算、高性能計算和科學知識開放獲取這四大戰(zhàn)略,遵循的主要原則是:高質(zhì)量數(shù)據(jù)的廣泛獲得性,包括公共資助數(shù)據(jù)的免費獲得;作為數(shù)字化單一市場的一部分,歐盟內(nèi)數(shù)據(jù)的自由流動;尋求個人潛在隱私問題與其數(shù)據(jù)再利用潛力之間的適當平衡,同時賦予公民以其希望的形式使用自己數(shù)據(jù)的權利。
3.日本。2012年6月,日本IT戰(zhàn)略本部發(fā)布電子政務開放數(shù)據(jù)戰(zhàn)略草案,邁出了政府數(shù)據(jù)公開的關鍵性一步。為了確保國民方便地獲得行政信息,政府將利用信息公開方式標準化技術實現(xiàn)統(tǒng)計信息、測量信息、災害信息等公共信息,在緊急情況時可以較少的網(wǎng)絡流量向手機用戶提供信息,并盡快在網(wǎng)絡上實現(xiàn)行政信息全部公開并可被重復使用。2012年7月,日本總務省ICT(信息、通信、技術)基本戰(zhàn)略委員會發(fā)布的《面向2020年的ICT綜合戰(zhàn)略》(草案)提出,“提升日本競爭力,大數(shù)據(jù)應用不可或缺”,戰(zhàn)略將重點關注“大數(shù)據(jù)應用”。2013年6月,安倍內(nèi)閣正式公布了新IT戰(zhàn)略——《創(chuàng)建最尖端IT國家宣言》,全面闡述了2013年—2020年期間以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略,提出要把日本建設成為一個具有“世界最高水準的廣泛運用信息產(chǎn)業(yè)技術的社會”。
(二)啟示
1.注重頂層設計。為充分抓住大數(shù)據(jù)帶來的新發(fā)展機遇,美、日等發(fā)達國家無不從國家層面來制定大數(shù)據(jù)戰(zhàn)略規(guī)劃,提出國家實施大數(shù)據(jù)戰(zhàn)略的明確目標,并用于引領帶動本國大數(shù)據(jù)的快速發(fā)展。如美國的《我的大數(shù)據(jù)》《大數(shù)據(jù)研究和發(fā)展》等,日本《面向2020年的ICT綜合戰(zhàn)略》《創(chuàng)建最尖端IT國家宣言》等。另一方面,美、日等國政府除了做好大數(shù)據(jù)項目的統(tǒng)籌規(guī)劃以外,還會提供充足的資金以支撐提升國家數(shù)據(jù)能力的基礎設施建設以及促進面向大數(shù)據(jù)創(chuàng)新應用技術的開發(fā),并保證政府部門數(shù)據(jù)存儲需求和數(shù)據(jù)安全需求。
2.注重數(shù)據(jù)開放。為保證大數(shù)據(jù)能夠充分發(fā)揮作用,美、歐、日等發(fā)達國家和地區(qū)都實行了開放數(shù)據(jù)的政策。如美國的《我的大數(shù)據(jù)》分別從退伍軍人健康記錄、納稅信息、電力能源使用和學生助學信息四個方面進行信息公開,使得美國人可以更安全地獲取他們的個人數(shù)據(jù),用來更好地處理他們私人領域的申請活動和服務。《歐盟開放數(shù)據(jù)戰(zhàn)略》旨在歐洲企業(yè)與市民能自由獲取歐盟公共管理部門的所有信息,建立一個匯集不同成員國以及歐洲機構數(shù)據(jù)的“泛歐門戶”。日本IT戰(zhàn)略本部于2014年6月發(fā)布電子政務開放數(shù)據(jù)戰(zhàn)略草案;并于2013年7月由日本三菱綜合研究所牽頭成立了“開放數(shù)據(jù)流通推進聯(lián)盟”,旨在由產(chǎn)官學聯(lián)合,促進日本公共數(shù)據(jù)的開放應用。
3.注重隱私保護。隨著大數(shù)據(jù)飛速增長,隱私問題也日益呈現(xiàn)在世人的面前。美、歐、日等發(fā)達國家和地區(qū)在強力推動大數(shù)據(jù)的同時,也充分考慮了隱私的保護。隨著遠程控制技術與云端儲存技術在個人電腦與文件管理領域普及,美國政府正在通過發(fā)展大數(shù)據(jù)戰(zhàn)略來完善隱私法以保證法律跟上技術發(fā)展的腳步?,F(xiàn)今美國最高法院正從第三方數(shù)據(jù)的訪問權限、數(shù)據(jù)和元數(shù)據(jù)的安全、商業(yè)數(shù)據(jù)服務的政府使用、內(nèi)部威脅和持續(xù)性評估這四個方面著手來完善隱私法。歐盟通過“迎接大數(shù)據(jù)時代”的推廣,呼吁成員國積極推動大數(shù)據(jù)業(yè)務,并就“數(shù)據(jù)所有權”和數(shù)據(jù)提供責任作出新規(guī)定、制定數(shù)據(jù)標準等。
4.注重社會參與。由國家出資推進政府與各科研單位、高校、企業(yè)的合作,組合社會各界多元力量共同參與大數(shù)據(jù)戰(zhàn)略,是發(fā)達國家和地區(qū)的重要經(jīng)驗。如美國《大數(shù)據(jù)研究和發(fā)展計劃》就是以美國各級政府為主導,依托高校和科研機構,鼓勵聯(lián)邦政府機構和各州政府以及高校、非政府組織和企業(yè)等各種力量廣泛參與,并通過多種形式進行充分的合作。日本為促進本國大數(shù)據(jù)的快速發(fā)展,成立了由三菱綜合研究所牽頭、東京大學等機構廣泛參與的“開放數(shù)據(jù)流通推進聯(lián)盟”。
三、大數(shù)據(jù)發(fā)展的趨勢
雖然大數(shù)據(jù)目前仍處在發(fā)展的起步階段,尚存在著諸多的困難與挑戰(zhàn),但我們相信,隨著時間的推移,大數(shù)據(jù)未來的發(fā)展前景非??捎^。
(一)數(shù)據(jù)將呈現(xiàn)指數(shù)級增長
近年來,隨著社交網(wǎng)絡、移動互聯(lián)、電子商務、互聯(lián)網(wǎng)和云計算的興起,音頻、視頻、圖像、日志等各類數(shù)據(jù)正在以指數(shù)級增長。據(jù)有關資料顯示,2011年,全球數(shù)據(jù)規(guī)模為1.8ZB,可以填滿575億個32GB的iPad,這些iPad可以在我國修建兩座長城。到2020年,全球數(shù)據(jù)將達到40ZB,如果把它們?nèi)看嫒胨{光光盤,這些光盤和424艘尼米茲號航母重量相當。美國互聯(lián)網(wǎng)數(shù)據(jù)中心則指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%,每兩年便將翻一番,目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。
(二)數(shù)據(jù)將成為最有價值的資源
在大數(shù)據(jù)時代,數(shù)據(jù)成為繼土地、勞動、資本之后的新要素,構成企業(yè)未來發(fā)展的核心競爭力?!度A爾街日報》在一份題為《大數(shù)據(jù),大影響》的報告中宣傳,數(shù)據(jù)已經(jīng)成為一種新的資產(chǎn)類別,就像貨幣或黃金一樣。IBM執(zhí)行總裁羅睿蘭認為,“數(shù)據(jù)將成為一切行業(yè)當中決定勝負的根本因素,最終數(shù)據(jù)將成為人類至關重要的自然資源?!彪S著大數(shù)據(jù)應用的不斷發(fā)展,我們有理由相信大數(shù)據(jù)將成為機構和企業(yè)的重要資產(chǎn)和爭奪的焦點,谷歌、蘋果、亞馬遜、阿里巴巴、騰訊等互聯(lián)網(wǎng)巨頭正在運用大數(shù)據(jù)力量獲得商業(yè)上更大的成功,并且將會繼續(xù)通過大數(shù)據(jù)來提升自己的競爭力。
(三)大數(shù)據(jù)和傳統(tǒng)行業(yè)智能融合
通過對大數(shù)據(jù)收集、整理、分析、挖掘,我們不僅可以發(fā)現(xiàn)城市治理難題,掌握經(jīng)濟運行趨勢,還能夠驅(qū)動精確設計和精確生產(chǎn)模式,引領服務業(yè)的精確化和增值化,創(chuàng)造互動的創(chuàng)意產(chǎn)業(yè)新形態(tài)。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎之上的精準選址。百度、阿里、騰訊等通過對海量數(shù)據(jù)的掌握和分析,為用戶提供更加專業(yè)化和個性化的服務。在智慧城市建設不斷深入的情況下,大數(shù)據(jù)必將在智慧城市中發(fā)揮越來越重要的作用。由城市數(shù)字化到智慧城市,關鍵是要實現(xiàn)對數(shù)字信息的智慧處理,其核心是引入了大數(shù)據(jù)處理技術,大數(shù)據(jù)將成為智慧城市的核心智慧引擎。智慧金融、智慧安防、智慧醫(yī)療、智慧教育、智慧交通、智慧城管等,無不是大數(shù)據(jù)和傳統(tǒng)產(chǎn)業(yè)融合的重要領域。
(四)數(shù)據(jù)將越來越開放
大數(shù)據(jù)是人類的共同資源、共同財富,數(shù)據(jù)開放共享是不可逆轉(zhuǎn)的歷史潮流。隨著各國政府和企業(yè)對開放數(shù)據(jù)帶來的社會效益和商業(yè)價值認識的不斷提升,全球必將很快掀起一股數(shù)據(jù)開放的熱潮。事實上,大數(shù)據(jù)的發(fā)展需要全世界、全人類的共同協(xié)作,變私有大數(shù)據(jù)為公共大數(shù)據(jù),最終實現(xiàn)私有、企業(yè)自有、行業(yè)自有的全球性大數(shù)據(jù)整合,才不至形成一個個毫無價值的“數(shù)據(jù)孤島”。大數(shù)據(jù)越關聯(lián)越有價值,越開放越有價值。尤其是公共事業(yè)和互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)開放數(shù)據(jù)將越來越多。目前,美歐等發(fā)達國家和地區(qū)的政府都在政府和公共事業(yè)上的數(shù)據(jù)做出了表率。我國政府也將一方面帶頭力促數(shù)據(jù)公開共享,另一方面,還通過推動建設各類大數(shù)據(jù)服務交易平臺,為數(shù)據(jù)使用者提供豐富的數(shù)據(jù)來源和數(shù)據(jù)的應用。
(五)大數(shù)據(jù)安全將日受重視
大數(shù)據(jù)在經(jīng)濟社會中應用日益廣泛的同時,大數(shù)據(jù)的安全也必將受到更多的重視。大數(shù)據(jù)時代,在我們用數(shù)據(jù)挖掘和數(shù)據(jù)分析等大數(shù)據(jù)技術獲取有價值信息的同時,“黑客”也可以利用這些大數(shù)據(jù)技術最大限度地收集更多有用信息,對其感興趣的目標發(fā)起更加“精準的”攻擊。近年來,個人隱私、企業(yè)商業(yè)信息甚至是國家機密泄露事件時有發(fā)生。對此,美歐等發(fā)達國家紛紛制定完善了保護信息安全、防止隱私泄露等相關法律法規(guī)??梢灶A見,在不久的將來,其他國家也會迅速跟進,以更好地保障本國政府、企業(yè)乃至居民的數(shù)據(jù)安全。
(六)大數(shù)據(jù)人才將備受歡迎
隨著大數(shù)據(jù)的不斷發(fā)展及其應用的日益廣泛,包括大數(shù)據(jù)分析師、數(shù)據(jù)管理專家、大數(shù)據(jù)算法工程師、數(shù)據(jù)產(chǎn)品經(jīng)理等在內(nèi)的具有豐富經(jīng)驗的數(shù)據(jù)分析人員將成為全社會稀缺的資源和各機構爭奪的人才。據(jù)著名國際咨詢公司Gartner預測,2015年全球大數(shù)據(jù)人才需求將達到440萬人,而人才市場僅能夠滿足需求的1/3。麥肯錫公司則預測美國到2018年需要深度數(shù)據(jù)分析人才44萬~49萬人,缺口為14萬~19萬人。有鑒于此,美國通過國家科學基金會,鼓勵研究性大學設立跨學科的學位項目,為培養(yǎng)下一代數(shù)據(jù)科學家和工程師做準備,并設立培訓基金支持對大學生進行相關技術培訓,召集各個學科的研究人員共同探討大數(shù)據(jù)如何改變教育和學習等。英國、澳大利亞、法國等國家也類似地對大數(shù)據(jù)人才的培養(yǎng)做出專項部署。IBM 等企業(yè)也開始全面推進與高校在大數(shù)據(jù)領域的合作,力圖培養(yǎng)企業(yè)發(fā)展需要的既懂業(yè)務知識又具分析技能的復合型數(shù)據(jù)人才。
四、我國大數(shù)據(jù)發(fā)展現(xiàn)狀、問題與挑戰(zhàn)
近年來,由于各級政府的高度重視,大數(shù)據(jù)在我國也得到了較快的發(fā)展。當然,作為一個相對新鮮的事物,我國的大數(shù)據(jù)發(fā)展還存在著一定的問題。
(一)現(xiàn)狀
經(jīng)過多年信息化建設和互聯(lián)網(wǎng)發(fā)展,我國已經(jīng)成為數(shù)據(jù)大國?;ヂ?lián)網(wǎng)已經(jīng)成為生產(chǎn)、生活的重要技術平臺,隨著信息技術的日益普及和“互聯(lián)網(wǎng)+”融合態(tài)勢的加快,海量數(shù)據(jù)不斷快速聚集,據(jù)國際有關機構統(tǒng)計,我國的數(shù)據(jù)總量將以年均50%的速度增長,預計到2020年將占全球的21%。在新形勢下,國務院于2015年6月24日印發(fā)了《關于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》,提出要充分運用大數(shù)據(jù)先進的理念、技術和資源,加強對市場主體服務和監(jiān)管,推進減政放權和政府職能轉(zhuǎn)變,提高政府治理能力;同年8月31日,頒布了《關于促進大數(shù)據(jù)發(fā)展的行動綱要》,提出“堅持創(chuàng)新驅(qū)動發(fā)展,加快大數(shù)據(jù)部署,深化大數(shù)據(jù)應用,已成為穩(wěn)增長、促改革、調(diào)結(jié)構、惠民生和推動政府治理能力現(xiàn)代化的內(nèi)在需要和必然選擇?!?/p>
與此同時,全國各地也加快了推動大數(shù)據(jù)發(fā)展的步伐。其中,廣東、上海、重慶、貴州、武漢等省市在全國率先制定頒布了推動大數(shù)據(jù)發(fā)展的效果政策文件。早在2012年11月,廣東便發(fā)布《廣東省實施大數(shù)據(jù)戰(zhàn)略工作方案》,提出“為保證大數(shù)據(jù)戰(zhàn)略有效實施,廣東省將建設政務數(shù)據(jù)中心,并為高等院校和企業(yè)等成立大數(shù)據(jù)研究機構提供支持”。2013年7月,上海發(fā)布《上海推進大數(shù)據(jù)研究與發(fā)展三年行動計劃(2013—2015年)》,提出“突破大數(shù)據(jù)關鍵技術,建立以企業(yè)為主體、產(chǎn)學研聯(lián)合的發(fā)展機制,形成需求牽引、創(chuàng)新應用的發(fā)展模式,發(fā)展數(shù)據(jù)產(chǎn)業(yè),服務智慧城市”,擬成立“上海大數(shù)據(jù)產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟”,建設“上海市數(shù)據(jù)科學重點實驗室”、數(shù)據(jù)工程技術研究中心等,以大數(shù)據(jù)技術創(chuàng)新及產(chǎn)業(yè)應用為目標、以聯(lián)盟為紐帶促進形成若干引領大數(shù)據(jù)產(chǎn)業(yè)技術創(chuàng)新的企業(yè)聯(lián)合實體。2014年2月,貴州印發(fā)《關于加快大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用若干政策的意見》《貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用規(guī)劃綱要(2014—2020年)》,提出了貴州省大數(shù)據(jù)發(fā)展的目標是推動貴州省大數(shù)據(jù)產(chǎn)業(yè)穩(wěn)步快速發(fā)展,到2020年大數(shù)據(jù)帶動相關產(chǎn)業(yè)規(guī)模達到4500億元。大數(shù)據(jù)產(chǎn)業(yè)體系基本健全,業(yè)務形態(tài)較為齊備,創(chuàng)新能力顯著增強,安全保障能力明顯提高。產(chǎn)業(yè)載體建設順利推進,聚集一批具有較強市場競爭力的骨干企業(yè)。數(shù)據(jù)中心布局合理,政府數(shù)據(jù)資源實現(xiàn)有效整合,大數(shù)據(jù)開放與管理機制初步建立,應用水平明顯提高,以大數(shù)據(jù)引領和支撐貴州省經(jīng)濟社會轉(zhuǎn)型發(fā)展的能力顯著增強。此外,重慶、武漢等其他省市也紛紛頒布了各自的大數(shù)據(jù)行動計劃。
(二)問題與挑戰(zhàn)
在我國積極發(fā)展大數(shù)據(jù)的同時,還存在著若干制約我國從數(shù)據(jù)大國向數(shù)據(jù)強國轉(zhuǎn)變的因素,具體來說,主要包括以下幾個方面。
1.需求不明確。數(shù)據(jù)是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的基礎,具有商業(yè)價值的數(shù)據(jù)和商業(yè)分析真正能夠幫助企業(yè)提升業(yè)務,創(chuàng)造出新的價值。很多企業(yè)業(yè)務部門不了解大數(shù)據(jù),也不了解大數(shù)據(jù)的應用場景和價值,因此難以提出大數(shù)據(jù)的準確需求。而大數(shù)據(jù)部門又是非盈利部門,企業(yè)決策層擔心投入太多的成本,導致了很多企業(yè)在搭建大數(shù)據(jù)部門時猶豫不決,或者很多企業(yè)都處于觀望嘗試的態(tài)度,從根本上影響了企業(yè)在大數(shù)據(jù)方向的發(fā)展,也阻礙了企業(yè)積累和挖掘自身的數(shù)據(jù)資產(chǎn),甚至由于數(shù)據(jù)沒有應用場景,刪除很多有價值的歷史數(shù)據(jù),導致企業(yè)數(shù)據(jù)資產(chǎn)流失。
2.共享不充分。由于缺少統(tǒng)一規(guī)劃和統(tǒng)一的標準,我國政府部門與數(shù)據(jù)企業(yè)在建設信息化系統(tǒng)的過程中形成了眾多的“信息孤島”。在很多企業(yè)中尤其是大型的企業(yè),數(shù)據(jù)常常散落在不同部門,而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉庫中,不同部門的數(shù)據(jù)技術也有可能不一樣,這導致企業(yè)內(nèi)部自己的數(shù)據(jù)都沒法打通。如果不打通這些數(shù)據(jù),大數(shù)據(jù)的價值則非常難挖掘。我國的大數(shù)據(jù)市場還不成熟,市場上存在的僅是孤立、不流動、沒有整合的數(shù)據(jù),客戶很難找到完整的、具有商業(yè)價值的數(shù)據(jù)因而不得不從多個數(shù)據(jù)企業(yè)采購數(shù)據(jù),這樣不但效率低,而且費用高。
3.安全保障低。隨著信息技術的不斷發(fā)展,如何保證用戶的信息安全日益成為一個非常重要的課題。在大數(shù)據(jù)時代,要求將所有的數(shù)據(jù)存儲在同一個地方,這使得保護數(shù)據(jù)會變得更加簡單,但與此同時,在線數(shù)據(jù)越多越集中,黑客也越容易獲得關于人的信息,從而更可能實施犯罪。日前一些知名網(wǎng)站密碼泄露、系統(tǒng)漏洞導致用戶資料被盜等安全事件已經(jīng)警醒我們,要加強大數(shù)據(jù)網(wǎng)絡安全的建設。同時,隨著數(shù)據(jù)的不斷增加,對數(shù)據(jù)存儲的物理安全性,從而對數(shù)據(jù)的多副本與容災機制的要求也會越來越高。目前,我國多數(shù)政府部門和傳統(tǒng)企業(yè)的數(shù)據(jù)安全令人擔憂。
4.人才隊伍少。大數(shù)據(jù)在我國是新生事物,國內(nèi)高校開展大數(shù)據(jù)技術人才培養(yǎng)的時間不長,技術市場上掌握大數(shù)據(jù)處理和應用開發(fā)技術的人才很少。大數(shù)據(jù)的發(fā)展速度很快,無論是政府部門還是企業(yè)都需要一支懂技術、善管理、有經(jīng)驗的大數(shù)據(jù)建設專業(yè)隊伍,包括大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)分析師、大數(shù)據(jù)架構師、大數(shù)據(jù)后臺開發(fā)工程師、大數(shù)據(jù)算法工程師等。因此,目前我國大數(shù)據(jù)市場上的技術人才儲備與大數(shù)據(jù)處理和應用需求之間存在著巨大的缺口,而且這一缺口將在未來幾年可能持續(xù)存在。
5.隱私保護差。在大數(shù)據(jù)時代,信息公開和數(shù)據(jù)共享是必然的趨勢,但與此同時,隨著數(shù)據(jù)的指數(shù)性增長,隱私泄露事件時有發(fā)生。目前,我國還沒有專門的隱私權保護法律,因而無法保證國家大數(shù)據(jù)戰(zhàn)略進行過程中數(shù)據(jù)的隱私安全。為促進大數(shù)據(jù)的健康有序發(fā)展,我們必須盡快研究制定相關法律法規(guī),明確對大數(shù)據(jù)戰(zhàn)略中每一個項目的活動周期中產(chǎn)生的數(shù)據(jù)進行隱私監(jiān)管,確保數(shù)據(jù)隱私不被侵犯。
五、發(fā)展我國大數(shù)據(jù)的對策建議
在借鑒發(fā)達國家和地區(qū)先進經(jīng)驗的基礎上,充分考慮我國的具體國情及國內(nèi)外大數(shù)據(jù)發(fā)展的趨勢,建議我國發(fā)展大數(shù)據(jù)采取如下對策。
(一)推動數(shù)據(jù)開放
政府擁有大量有價值的數(shù)據(jù),應該著眼于民生福祉,帶頭推動政府數(shù)據(jù)的開放共享。要加快建立政府數(shù)據(jù)開放平臺,推動各級政府和公共服務機構優(yōu)先開放高價值數(shù)據(jù)資源。加強政府與民間協(xié)作,推動各類優(yōu)質(zhì)數(shù)據(jù)資源的開放共享。積極發(fā)揮市場的決定性作用,引導更多非公共數(shù)據(jù)向社會開放,鼓勵基于開放數(shù)據(jù)開展應用創(chuàng)新,通過數(shù)據(jù)資源的開放利用,促進大數(shù)據(jù)技術和產(chǎn)業(yè)創(chuàng)新發(fā)展,并惠及更多民眾。
(二)健全法律法規(guī)
借鑒美歐等發(fā)達國家和地區(qū)的經(jīng)驗,加快制定完善《中華人民共和國政府信息公開條例》《中華人民共和國保守國家秘密法》《中華人民共和國個人隱私法》等有關信息公開、數(shù)據(jù)安全、網(wǎng)絡安全、隱私保護方面的法律法規(guī),規(guī)范國家重要數(shù)據(jù)的存儲、備份和遷移,保障數(shù)據(jù)安全、可靠。在尊重知識產(chǎn)權的前提下,規(guī)范數(shù)據(jù)隱私保護的范圍、方式和程序,有效避免信息公開與隱私保護方面的沖突,對相關數(shù)據(jù)去除敏感信息后實現(xiàn)開放和共享。
(三)完善標準規(guī)范
盡快制定并試行對數(shù)據(jù)開放原則和機制規(guī)范、數(shù)據(jù)分級標準、數(shù)據(jù)發(fā)展及使用的責任與權益等大數(shù)據(jù)發(fā)展應用過程中必需的相關標準規(guī)范。制定數(shù)據(jù)編碼、處理、共享、交換標準,出臺大數(shù)據(jù)技術、協(xié)議、標準等規(guī)范;建立數(shù)據(jù)資產(chǎn)訪問、連接和共享機制,搭建數(shù)據(jù)資產(chǎn)交易平臺,形成數(shù)據(jù)流轉(zhuǎn)的層次化體系結(jié)構;研究數(shù)據(jù)資產(chǎn)的所有權、使用權以及價值評估體系,通過市場化模式保障數(shù)據(jù)資產(chǎn)流轉(zhuǎn)的可行性。
(四)保障信息安全
妥善處理發(fā)展創(chuàng)新和安全規(guī)范的關系,探索完善安全管理規(guī)范措施,切實保障數(shù)據(jù)安全。建立大數(shù)據(jù)安全評估體系,做好大數(shù)據(jù)應用安全評測和風險評估,提高大數(shù)據(jù)平臺信息安全監(jiān)測、預警和應對能力。加強測試工具研發(fā),開展大數(shù)據(jù)平臺可靠性及安全性評測服務,引導大數(shù)據(jù)安全可控和有序發(fā)展。推動數(shù)據(jù)保護、個人隱私、數(shù)據(jù)權益和合理利用等方面的地方立法工作,加快出臺實施細則,對重要數(shù)據(jù)的保存、備份、遷移等進行規(guī)范管理。
(五)加強人才培養(yǎng)
落實各項人才政策,創(chuàng)建吸引人才、留住人才的良好環(huán)境,加快從美、歐等發(fā)達國家和地區(qū)引進既懂業(yè)務知識又具分析技能的復合型數(shù)據(jù)人才。扶持高等院校大數(shù)據(jù)相關專業(yè)的發(fā)展,推進大學課程改革,開設一系列符合現(xiàn)在和未來社會需求的數(shù)據(jù)技術的相關課程,培養(yǎng)數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等方面的專門人才。鼓勵高校和企業(yè)通過建立聯(lián)合實驗室、研發(fā)中心等形式,聯(lián)合培養(yǎng)理論與實踐相結(jié)合的大數(shù)據(jù)專業(yè)人才。充分發(fā)揮以崗位培訓和繼續(xù)教育為重點,加大社會化培訓力度,提高在職人員大數(shù)據(jù)應用技能,進一步加強對機關公務員、事業(yè)單位、大中型企業(yè)工作人員的大數(shù)據(jù)知識的培訓與考核。
(六)支持技術創(chuàng)新
加大財政對大數(shù)據(jù)關鍵技術研發(fā)創(chuàng)新的引導和扶持力度,構建自主的大數(shù)據(jù)技術體系。加強大數(shù)據(jù)共性基礎技術研發(fā)。重點研發(fā)大數(shù)據(jù)存儲管理、分析挖掘、可視化、數(shù)據(jù)安全等關鍵技術和產(chǎn)品,提前布局自然語言處理、語義理解和機器學習等關鍵技術。支持國內(nèi)創(chuàng)新型企業(yè),開發(fā)專業(yè)化的數(shù)據(jù)處理分析技術和工具,提供特色化的數(shù)據(jù)服務。支持高校和科研院所建立大數(shù)據(jù)開放實驗室,推動多學科交叉融合,開展大數(shù)據(jù)分析關鍵算法、關鍵技術研究和大數(shù)據(jù)專業(yè)人才培養(yǎng),并加強實踐應用。
參考文獻:
1.李健、王麗萍、劉瑞:《美國的大數(shù)據(jù)研發(fā)計劃及對我國的啟示》,《中國科技資源導刊》2013年第1期。
2.美國總統(tǒng)科學技術顧問委員會:《規(guī)劃數(shù)字化的未來:美國總統(tǒng)科學技術顧問委員會給總統(tǒng)和國會的報告》,2010年。
3.王喜文譯:《日本政府啟動新ICT戰(zhàn)略研究》,中國經(jīng)濟網(wǎng),2012年6月1日,http://intl.ce.cn/specials/zxgjzh/201206/01/t20120601_23371639.shtml。
4.安倍內(nèi)閣:《日本:用大數(shù)據(jù)創(chuàng)建最尖端IT國家》,數(shù)據(jù)智慧網(wǎng),2014年2月12日,http://www.datakm.com/trade-news/117.html。
責任編輯:沈家文、方虹
作者簡介:武鋒,國家信息中心副研究員。
·產(chǎn) 業(yè) 發(fā) 展·