國外大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展及啟示

劉小剛

一 、大數(shù)據(jù)的內(nèi)涵及其應(yīng)用

（一）大數(shù)據(jù)的概念、特征

現(xiàn)代社會正以不可想象的速度產(chǎn)生海量數(shù)據(jù)。根據(jù)IDC（Internet Data Center）即互聯(lián)網(wǎng)數(shù)據(jù)中心預(yù)測，2020年的數(shù)據(jù)增長量將是2010年的44倍，達(dá)到35ZB。大數(shù)據(jù)（big data）是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計算的數(shù)據(jù)處理與應(yīng)用模式。大數(shù)據(jù)又稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前的主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策的資訊。

大數(shù)據(jù)具有以下四個基本特征：一是海量的數(shù)據(jù)容量（Volume Big），目前數(shù)據(jù)量級已從TB發(fā)展至PB乃至ZB；二是快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（Velocity Fast），數(shù)據(jù)流往往為高速實時數(shù)據(jù)流，而且需要快速、持續(xù)的實時處理，處理工具亦在快速演進(jìn)，軟件工程及人工智能等均可能介入；三是多樣的數(shù)據(jù)類型（Variable Type），數(shù)據(jù)類型繁多，主要為網(wǎng)頁、視頻、圖像與位置信息等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息；四是巨大的數(shù)據(jù)價值和數(shù)據(jù)低密度（Value high and Low density），以視頻安全監(jiān)控為例，連續(xù)不斷的監(jiān)控流中，有價值的可能僅為一兩秒的數(shù)據(jù)流，360°全方位視頻監(jiān)控的“死角”處，可能才挖掘出能被利用的有價值的圖像信息。

（二）大數(shù)據(jù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)是海量交易數(shù)據(jù) 、海量交互數(shù)據(jù)以及海量數(shù)據(jù)處理三種相互關(guān)聯(lián)又迥然各異的技術(shù)趨勢的集合體，每一種技術(shù)趨勢都代表著創(chuàng)新突破和發(fā)展?jié)摿?。隨著各項創(chuàng)新技術(shù)的匯集， 大數(shù)據(jù)的應(yīng)用已經(jīng)相當(dāng)廣泛。

1. 城市管理。搜集城市的地理信息和其他數(shù)據(jù)，醫(yī)院、警察局等公共服務(wù)部門的位置，天氣變化，為可能發(fā)生的緊急事件提供預(yù)案；通過各行業(yè)收集到的數(shù)據(jù)，分析宏觀數(shù)據(jù)，準(zhǔn)確及時地對市場進(jìn)行調(diào)控；通過在城市多處設(shè)置的傳感器收集交通數(shù)據(jù)，從而指導(dǎo)人們確定出行計劃，避免擁堵，有效緩解大城市交通擁擠問題。

2. 農(nóng)工商業(yè)發(fā)展。運用大數(shù)據(jù)對氣象、氣候、地形進(jìn)行智能分析，形成現(xiàn)代化高科技農(nóng)業(yè)生產(chǎn)模式；形成以大數(shù)據(jù)信息為背景的新型現(xiàn)代化工業(yè)，智能自動化生產(chǎn)；數(shù)據(jù)分析工具幫助銀行、商店確定最佳的營業(yè)網(wǎng)點，優(yōu)化業(yè)務(wù)的運營；幫助企業(yè)監(jiān)控客戶的商店活動情況與交易記錄，確定商品種類、商品擺放位置、商品調(diào)價的時間和幅度，減少企業(yè)存貨，提升利潤率；在電子商務(wù)方面，準(zhǔn)確分析用戶的購物行為，通過對用戶行為數(shù)據(jù)的分析，決定購物網(wǎng)站的網(wǎng)頁形式和內(nèi)容，把消費者和銷售者對應(yīng)起來，形成新的“銷售—消費”模式；在商品儲存方面，開發(fā)一種供應(yīng)鏈模型，根據(jù)產(chǎn)品線的銷售情況、運輸費用、儲存費用，提供極為準(zhǔn)確的成本維護(hù)視圖，建立最優(yōu)化的商業(yè)經(jīng)營模式。

3. 市場研究。安裝搜集運營數(shù)據(jù)的裝置，實時連續(xù)地收集網(wǎng)絡(luò)信息，使我們更快地對市場做出反應(yīng)；利用菜單變化、餐廳設(shè)計以及勞動生產(chǎn)力的培訓(xùn)程度對銷售額影響進(jìn)行建模，獲取各因素與銷售額的相關(guān)關(guān)系。

4. 個人服務(wù)。它能自動記錄個人經(jīng)常出現(xiàn)的地理位置，并自動生成為數(shù)據(jù)圖表，幫助分析個人行程路線、生活場所，變成“個人生活助理工具”；也可以通過手機App搜集全球人們對于特定問題的看法，找出對于大眾生活的若干觀察，調(diào)查社會群眾對于熱門話題的立場。

除此之外，大數(shù)據(jù)還在其他領(lǐng)域有著重要的作用，并且隨著大數(shù)據(jù)收集、整合以及分析技術(shù)的提升，大數(shù)據(jù)的應(yīng)用領(lǐng)域勢必將更加廣闊。大數(shù)據(jù)正驅(qū)動著傳統(tǒng)產(chǎn)業(yè)向現(xiàn)代化、“數(shù)據(jù)化”產(chǎn)業(yè)過渡。

二、 國外大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展

（一）美國

2004年，布什政府通過司法程序，將“星風(fēng)”監(jiān)視計劃分拆為由國家安全局執(zhí)行的4個監(jiān)視計劃，除“棱鏡”外，還包括“主干道”、“碼頭”和“核子”（“棱鏡”用于監(jiān)視互聯(lián)網(wǎng)個人信息）。加上已被有關(guān)機構(gòu)掌握的個人信用數(shù)據(jù)、犯罪記錄和人口統(tǒng)計等數(shù)據(jù)，美國公民的一切行為數(shù)據(jù)基本上被收集儲存。

近日，由前美國中央情報局（CIA）雇員斯諾登揭秘的“棱鏡門”持續(xù)發(fā)酵。據(jù)斯諾登爆料，美國國家安全局和聯(lián)邦調(diào)查局于2007年啟動了一個代號為“棱鏡”的秘密監(jiān)控項目，直接進(jìn)入美國網(wǎng)際網(wǎng)絡(luò)公司的中心服務(wù)器里挖掘數(shù)據(jù)、收集情報。在美國猶他州專門用于儲存數(shù)據(jù)的美國“間諜中心”也正在緊鑼密鼓地修建中。該數(shù)據(jù)中心主要用于收集、存儲、分析信息，破解密碼，打擊恐怖主義及攔截來自世界各地通信，支持奧巴馬政府的綜合國際網(wǎng)絡(luò)安全倡議，并為情報界提供支持。此外，金融信息、國外的軍事情報、外交情報以及一些法律文件等也都會在這里進(jìn)行解密。

而作為奧巴馬開放政府承諾的產(chǎn)物，2009年至今Data.gov（美國政府?dāng)?shù)據(jù)庫）全面開放了40萬聯(lián)邦政府原始數(shù)據(jù)集。日前Data.gov宣布采用新“開源政府平臺”管理數(shù)據(jù)，代碼將向各國開發(fā)者開放。因此從這個角度看，大數(shù)據(jù)已成為美國國家創(chuàng)新戰(zhàn)略、國家安全戰(zhàn)略、國家ICT產(chǎn)業(yè)發(fā)展戰(zhàn)略以及國家信息網(wǎng)絡(luò)安全戰(zhàn)略的交叉領(lǐng)域、核心領(lǐng)域。2012年3月，奧巴馬政府將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策，認(rèn)為大數(shù)據(jù)是“未來的新石油”，將對數(shù)據(jù)的占有和控制作為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心能力。

首批共有6個聯(lián)邦部門宣布投資2億美元，共同提高收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需核心技術(shù)的先進(jìn)性，并形成合力；對信息技術(shù)研發(fā)投入推動超級計算和互聯(lián)網(wǎng)的發(fā)展。目前，已有美國大學(xué)專門開設(shè)了研究大數(shù)據(jù)技術(shù)的課程，培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”，一些美國公司也在向大學(xué)提供教育研究資助，并贊助與大數(shù)據(jù)有關(guān)的比賽，擴大大數(shù)據(jù)技術(shù)開發(fā)和應(yīng)用所需人才的供給，提高美國的科學(xué)發(fā)展、環(huán)境與生物醫(yī)藥研究、教育和國家安全的能力；美國國家衛(wèi)生研究院開展的免費開放國際千人基因組計劃，它將創(chuàng)建的人類遺傳變異研究數(shù)據(jù)集，供研究人員自由訪問和使用；美國國家科學(xué)基金會和美國國家衛(wèi)生研究院對大數(shù)據(jù)進(jìn)行聯(lián)合招標(biāo)，改進(jìn)核心科學(xué)與技術(shù)手段，提高從各種大型數(shù)據(jù)集中提取重要信息并對其進(jìn)行有效管理、分析和可視化的能力；美國國防部則計劃每年投資2.5億美元左右，在各個軍事部門開展一系列研究計劃，以創(chuàng)新方式使用海量數(shù)據(jù)，通過感知、認(rèn)知和決策支持的結(jié)合，加強大數(shù)據(jù)決策能力；美國能源部則將斥資2500萬美元建立可擴展數(shù)據(jù)管理與可視化研究所（SDAV），幫助科學(xué)家對數(shù)據(jù)進(jìn)行有效管理，促進(jìn)其生物和環(huán)境研究計劃、美國核數(shù)據(jù)計劃等的研究成果。美國正在握緊大數(shù)據(jù)這個人類科技領(lǐng)域的最新儀表盤，以求繼續(xù)保持科技領(lǐng)先地位。當(dāng)然從現(xiàn)在來看，說大數(shù)據(jù)改變美國政治或政府的確有些夸張，但從另一層面看，美國政府的開放性數(shù)據(jù)服務(wù)轉(zhuǎn)型正走在世界前列。

（二）英國

雖然經(jīng)濟(jì)不景氣，財政收緊，但大數(shù)據(jù)依然是英國政府重點發(fā)展的科技領(lǐng)域。今年年初，英國商業(yè)、創(chuàng)新和技能部宣布，將注資6億英鎊發(fā)展8類高新技術(shù)，大數(shù)據(jù)獨攬其中的1.89億英鎊，將近三成。負(fù)責(zé)科技事務(wù)的國務(wù)大臣戴維·威利茨說，政府將在計算基礎(chǔ)設(shè)施方面投入巨資，加強數(shù)據(jù)采集和分析，這也將吸引企業(yè)在這一領(lǐng)域的投資，以求在數(shù)據(jù)革命中占得先機。

今年，英國首個綜合運用大數(shù)據(jù)技術(shù)的醫(yī)藥衛(wèi)生科研中心在牛津大學(xué)成立。英國首相卡梅倫在揭牌儀式上說，這一中心的成立有望給英國醫(yī)學(xué)研究和醫(yī)療服務(wù)帶來革命性變化，它將促進(jìn)醫(yī)療數(shù)據(jù)分析方面的新進(jìn)展，幫助科學(xué)家更好地理解人類疾病及其治療方法。據(jù)介紹，這個研究中心總投資達(dá)9000萬英鎊，可容納600名科研人員。中心通過搜集、存儲和分析大量醫(yī)療信息，確定新藥物的研發(fā)方向，減少藥物開發(fā)成本，同時為發(fā)現(xiàn)新的治療手段提供線索。同時，以英國為首的歐洲核子中心（CERN）將在匈牙利科學(xué)院魏格納物理學(xué)研究中心建設(shè)一座超寬帶數(shù)據(jù)中心。建成后，魏格納數(shù)據(jù)中心將成為連接CERN且具有歐洲最大傳輸能力的數(shù)據(jù)處理中心，未來該設(shè)施在處理大型強子對撞機（LHC）的數(shù)據(jù)以及實驗方面發(fā)揮重要作用。

威利茨指出，成功的高新技術(shù)戰(zhàn)略不僅要著眼于科研本身，更應(yīng)著力于推動新技術(shù)從實驗室到商業(yè)應(yīng)用的轉(zhuǎn)化。大數(shù)據(jù)創(chuàng)造價值是基于這樣一個核心邏輯，即當(dāng)今社會在商業(yè)、經(jīng)濟(jì)、政府及相關(guān)領(lǐng)域中，決策行為越來越取決于數(shù)據(jù)和分析，而不再是經(jīng)驗和直覺。大數(shù)據(jù)技術(shù)可以為決策提供一定的“預(yù)見參考”，而成功的分析和預(yù)見往往能帶來商業(yè)和經(jīng)濟(jì)價值。

（三）日本

日本面臨著由于長期經(jīng)濟(jì)低迷導(dǎo)致國際地位下降、人口老齡化以及日益增大的社會保險費用和社會基礎(chǔ)設(shè)施老化等諸多問題。為了扭轉(zhuǎn)這一現(xiàn)狀，日本政府決定通過大力發(fā)展IT產(chǎn)業(yè)，特別是大數(shù)據(jù)及開發(fā)數(shù)據(jù)和云計算。日本從2006年開始的《IT新改革戰(zhàn)略》推出了促進(jìn)ICT（Information、Communication、Technology）應(yīng)用的戰(zhàn)略。在2010年由新執(zhí)政的日本民主黨政府領(lǐng)導(dǎo)下IT戰(zhàn)略本部啟動了《新信息通信技術(shù)戰(zhàn)略》，5月發(fā)布《智能云研究報告》明確提出智能云戰(zhàn)略，促進(jìn)智能云服務(wù)的推廣普及、新一代云技術(shù)的戰(zhàn)略性研發(fā)、開展云技術(shù)相關(guān)的國際合作。同年6月份推出的IT戰(zhàn)略實施工程表中將中央和地方政府行政、醫(yī)療保健、教育、農(nóng)業(yè)等公共領(lǐng)域作為推廣云計算的重要領(lǐng)域。同時，為了提高信息通信領(lǐng)域的國際競爭力、培育新產(chǎn)業(yè)，應(yīng)用信息通信技術(shù)應(yīng)對抗災(zāi)救災(zāi)和核電站事故等社會性問題。2012年7月新發(fā)布“活躍ICT日本”新綜合戰(zhàn)略，積極利用云技術(shù)改革行政業(yè)務(wù)辦事流程，構(gòu)筑政府信息公共平臺，促進(jìn)不同系統(tǒng)間的溝通合作，最終建立一個全國統(tǒng)一的電子政務(wù)服務(wù)體系。2013年，推出的新ICT戰(zhàn)略，將致力于提升日本經(jīng)濟(jì)的效率，在網(wǎng)絡(luò)上實現(xiàn)行政信息全部公開并可被重復(fù)使用，以進(jìn)一步推進(jìn)開放政府的建設(shè)進(jìn)程。2013年6月，日本第二次安倍內(nèi)閣正式公布了新IT戰(zhàn)略——“創(chuàng)建最尖端IT國家宣言”。全面闡述以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略，提出要把日本建設(shè)成為一個具有“世界最高水準(zhǔn)的廣泛運用信息產(chǎn)業(yè)技術(shù)的社會”，并且，將其發(fā)展成就擴展到國際范圍內(nèi)。目前，無論在大數(shù)據(jù)技術(shù)還是企業(yè)實際應(yīng)用方面，日本都在亞洲占據(jù)明顯優(yōu)勢。

對于大數(shù)據(jù)的探索和發(fā)展，歐美和日本已經(jīng)走在世界的前列。各國政府已將大數(shù)據(jù)發(fā)展提升至戰(zhàn)略高度，創(chuàng)造積極的政策、法律環(huán)境；增加產(chǎn)業(yè)發(fā)展的財政投入，加強人才培養(yǎng)和核心技術(shù)的研發(fā)，建立先進(jìn)、巨大的數(shù)據(jù)中心，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。

三、對我國的啟示和建議

那么，面對國際社會大數(shù)據(jù)發(fā)展的熱潮，作為全球第二大經(jīng)濟(jì)體，我們政府應(yīng)當(dāng)如何抓住大數(shù)據(jù)戰(zhàn)爭的脈搏，制定合理的策略，以促進(jìn)我國經(jīng)濟(jì)的進(jìn)一步高速發(fā)展？

（一）上升為戰(zhàn)略角度，制定規(guī)劃

從國家戰(zhàn)略層次的角度出發(fā)，將大數(shù)據(jù)產(chǎn)業(yè)發(fā)展納入國家發(fā)展的戰(zhàn)略性項目，與國際大數(shù)據(jù)發(fā)展接軌，解決現(xiàn)階段大數(shù)據(jù)發(fā)展的核心問題。啟動、設(shè)立國家級“數(shù)據(jù)銀行”，對數(shù)據(jù)資產(chǎn)的交易和流通進(jìn)行保護(hù)，占領(lǐng)國際數(shù)據(jù)資產(chǎn)制高點。制定大數(shù)據(jù)發(fā)展的"三年規(guī)劃"或“五年規(guī)劃”，制定產(chǎn)業(yè)發(fā)展的階段性目標(biāo)，完成階段性任務(wù)，力爭國際社會大數(shù)據(jù)發(fā)展的優(yōu)勢地位。

（二）加大關(guān)鍵技術(shù)的研發(fā)和應(yīng)用

就核心技術(shù)而言，要給予核心技術(shù)、知識產(chǎn)權(quán)以專利保護(hù)， 激勵軟件開發(fā)的積極性；充分利用中國人口數(shù)量多產(chǎn)生數(shù)據(jù)量大，大學(xué)生基數(shù)大的人才資源雄厚的優(yōu)勢，培養(yǎng)從事大數(shù)據(jù)科研工作的尖端人才進(jìn)行關(guān)鍵技術(shù)研發(fā)，實現(xiàn)核心技術(shù)的突破。政府要掃清大數(shù)據(jù)產(chǎn)業(yè)化發(fā)展的一切阻力，促進(jìn)大數(shù)據(jù)技術(shù)從實驗室到工業(yè)化生產(chǎn)的轉(zhuǎn)移，加強大數(shù)據(jù)在實際生活生產(chǎn)方面的應(yīng)用，推進(jìn)大數(shù)據(jù)核心技術(shù)產(chǎn)業(yè)化發(fā)展的步伐，創(chuàng)造大數(shù)據(jù)的社會價值。

（三）出臺鼓勵政策，加大財政稅收扶持

政府要為大數(shù)據(jù)的發(fā)展提供積極的鼓勵政策；優(yōu)先發(fā)展在重要部門應(yīng)用的大數(shù)據(jù)產(chǎn)業(yè)，降低大數(shù)據(jù)發(fā)展的門檻；建立大數(shù)據(jù)科技研發(fā)部門，加大大數(shù)據(jù)科研及相關(guān)人才需求的缺口，刺激大數(shù)據(jù)人才市場的發(fā)展；完善科技創(chuàng)新獎勵機制，創(chuàng)造良好的科研環(huán)境。

加強財政稅收扶持，政府要增加大數(shù)據(jù)產(chǎn)業(yè)的財政投入。每年扶持資助一批獲得大數(shù)據(jù)核心技術(shù)突破并實現(xiàn)產(chǎn)業(yè)化的項目，設(shè)立大數(shù)據(jù)產(chǎn)業(yè)發(fā)展專項基金；對大數(shù)據(jù)企業(yè)按比例減免營業(yè)所得稅，為企業(yè)提供補貼，重點扶持核心技術(shù)部門的發(fā)展。

（四）拓寬融資渠道，創(chuàng)新融資方式

為了給大數(shù)據(jù)發(fā)展創(chuàng)造良好的融資環(huán)境，必須拓寬融資渠道。首先，政府參與，為大數(shù)據(jù)產(chǎn)業(yè)提供啟動資金、搭建信貸平臺，拓寬融資渠道；其次，充分利用銀行貸款，提高大數(shù)據(jù)產(chǎn)業(yè)銀行貸款信用；最后，扶持企業(yè)進(jìn)入資本市場，通過引導(dǎo)大數(shù)據(jù)企業(yè)進(jìn)入資本市場，通過上市直接在資本市場上融資，充實資本實力。

由于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的特殊性，可以創(chuàng)新融資方式。一是私募股權(quán)融資，融資對象以管理層為主，內(nèi)部職工適度參與；二是“轉(zhuǎn)貸”民間借貸；三是商業(yè)信用，企業(yè)以商品讓渡的形式為下游企業(yè)提供融資。