開源仍是大數(shù)據(jù)技術(shù)創(chuàng)新重要模式

賽迪智庫

大數(shù)據(jù)在各行業(yè)全面深度滲透，應(yīng)用場景不斷豐富，有力地促進(jìn)產(chǎn)業(yè)格局重構(gòu)，驅(qū)動生產(chǎn)方式和管理模式變革，推動制造業(yè)向網(wǎng)絡(luò)化、數(shù)字化和智能化方向發(fā)展。

2017年，隨著《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）》等重要政策發(fā)布實施，我國大數(shù)據(jù)逐步進(jìn)入發(fā)展黃金期，產(chǎn)業(yè)規(guī)模呈快速發(fā)展態(tài)勢。據(jù)賽迪統(tǒng)計，包括大數(shù)據(jù)硬件、大數(shù)據(jù)軟件、大數(shù)據(jù)服務(wù)等在內(nèi)的大數(shù)據(jù)核心產(chǎn)業(yè)環(huán)節(jié)，2017年達(dá)到4222億元，將在2020年超過1.2萬億元;大數(shù)據(jù)關(guān)聯(lián)產(chǎn)業(yè)規(guī)模，2017年達(dá)到7萬億元，將在2020年超過11萬億元;大數(shù)據(jù)融合產(chǎn)業(yè)規(guī)模2017年達(dá)到5.5萬億元，將在2020年超過22萬億元。從大數(shù)據(jù)核心產(chǎn)業(yè)結(jié)構(gòu)來看，基于大數(shù)據(jù)的服務(wù)仍是核心產(chǎn)業(yè)的主體，其規(guī)模約占大數(shù)據(jù)核心產(chǎn)業(yè)規(guī)模的90%。隨著大數(shù)據(jù)于各行業(yè)領(lǐng)域的不斷深入應(yīng)用，大數(shù)據(jù)融合應(yīng)用產(chǎn)業(yè)將迎來巨大發(fā)展空間，其增速將遠(yuǎn)超大數(shù)據(jù)核心產(chǎn)業(yè)本身。

發(fā)展概況

（一）政策體系不斷完善，產(chǎn)業(yè)環(huán)境持續(xù)優(yōu)化

2017年，中央和各省市接連出臺多項大數(shù)據(jù)相關(guān)政策，為推動產(chǎn)業(yè)快速成長提供良好環(huán)境。工信部發(fā)布《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）》，全面部署“十三五”期間大數(shù)據(jù)產(chǎn)業(yè)發(fā)展工作，加快建設(shè)數(shù)據(jù)強(qiáng)國。國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》《關(guān)于深化“互聯(lián)網(wǎng)+先進(jìn)制造業(yè)”發(fā)展工業(yè)互聯(lián)網(wǎng)的指導(dǎo)意見》、工信部發(fā)布《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃（2018-2020年）》，加強(qiáng)大數(shù)據(jù)與新一代信息技術(shù)的融合發(fā)展;發(fā)改委等部門出臺《關(guān)于促進(jìn)分享經(jīng)濟(jì)發(fā)展的指導(dǎo)性意見》，促進(jìn)大數(shù)據(jù)在新型經(jīng)濟(jì)領(lǐng)域的深入應(yīng)用;網(wǎng)信辦出臺《中華人民共和國網(wǎng)絡(luò)安全法》《個人信息和重要數(shù)據(jù)出境安全評估辦法（征求意見稿）》、信標(biāo)委出臺《信息安全技術(shù)個人信息安全規(guī)范》，加強(qiáng)網(wǎng)絡(luò)和信息安全、個人信息安全及隱私保護(hù)，推進(jìn)大數(shù)據(jù)法治化進(jìn)程。

同時，各省市對大數(shù)據(jù)的推進(jìn)力度進(jìn)一步加強(qiáng)，通過相關(guān)政策、項目、技術(shù)和應(yīng)用推動大數(shù)據(jù)發(fā)展。一是建立組織機(jī)構(gòu)。大數(shù)據(jù)不僅涉及電子信息制造、軟件和信息服務(wù)、通信等信息產(chǎn)業(yè)，還涉及與各行各業(yè)的融合創(chuàng)新以及在經(jīng)濟(jì)社會各領(lǐng)域的深入應(yīng)用，因此大數(shù)據(jù)發(fā)展需要能夠統(tǒng)籌協(xié)調(diào)各個部門的專門管理機(jī)構(gòu)。我國已有貴州、廣東、上海、遼寧、四川、廣州、蘭州、成都等多個省市成立了大數(shù)據(jù)管理局，以便充分發(fā)揮政府部門的統(tǒng)籌決策作用和引導(dǎo)帶動作用，在整合利用各方資源的同時，突破傳統(tǒng)觀念、部門利益等限制，快速推進(jìn)大數(shù)據(jù)發(fā)展與應(yīng)用相關(guān)工作，同時，各地成立大數(shù)據(jù)地方監(jiān)管部門共23個。二是出臺頂層設(shè)計文件。各省市紛紛出臺促進(jìn)大數(shù)據(jù)相關(guān)政策和配套措施，為推動大數(shù)據(jù)產(chǎn)業(yè)快速成長不斷優(yōu)化發(fā)展環(huán)境，北京、上海、廣東、浙江、福建等省市均紛紛出臺大數(shù)據(jù)相關(guān)產(chǎn)業(yè)規(guī)劃和細(xì)分領(lǐng)域相關(guān)政策，北京、江蘇、貴州等共18個省市已經(jīng)頒布大數(shù)據(jù)相關(guān)政策法規(guī)。三是建立產(chǎn)業(yè)聯(lián)盟。各省市積極引導(dǎo)建設(shè)以企業(yè)為主體，科研機(jī)構(gòu)、高等院校、用戶單位等共同參與的大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟，加強(qiáng)對行業(yè)發(fā)展重大問題的調(diào)查研究，共同推進(jìn)大數(shù)據(jù)相關(guān)理論研究、技術(shù)攻關(guān)、數(shù)據(jù)開放共享和創(chuàng)新成果應(yīng)用推廣，參與有關(guān)產(chǎn)業(yè)的政策制定。目前，我國已有大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟20余個，在推進(jìn)地方大數(shù)據(jù)產(chǎn)業(yè)發(fā)展、建設(shè)大數(shù)據(jù)平臺、推進(jìn)大數(shù)據(jù)項目實施等方面發(fā)揮了重要作用。四是推動政府?dāng)?shù)據(jù)開放和數(shù)據(jù)交易。數(shù)據(jù)是政府掌握的核心資產(chǎn)，也是長期以來政府治理國家、服務(wù)民生的重要依托，許多國家的政府部門已成為本國最大的數(shù)據(jù)生產(chǎn)者和擁有者，社會各界對政府開放數(shù)據(jù)的需求也越來越強(qiáng)烈。目前，我國有北京、上海等省市建設(shè)了數(shù)據(jù)開放平臺，嘗試推動政府?dāng)?shù)據(jù)資源開放。營造數(shù)據(jù)資源交易流通的良好環(huán)境是推動大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的基礎(chǔ)。

（二）區(qū)域布局基本形成，綜合試驗區(qū)引領(lǐng)特色發(fā)展

我國大數(shù)據(jù)產(chǎn)業(yè)區(qū)域布局基本形成，以京津冀區(qū)域、長三角地區(qū)、珠三角地區(qū)、中西部和東北地區(qū)等五個集聚區(qū)各具發(fā)展特色。京津冀地區(qū)著力打造大數(shù)據(jù)走廊格局，已初步形成大數(shù)據(jù)協(xié)同發(fā)展體系;長三角地區(qū)依托上海、杭州、南京等地，持續(xù)推進(jìn)大數(shù)據(jù)與當(dāng)?shù)刂腔鄢鞘薪ㄔO(shè)，以及云計算、人工智能等其他新一代信息技術(shù)發(fā)展深度結(jié)合;珠三角地區(qū)在大數(shù)據(jù)應(yīng)用創(chuàng)新、產(chǎn)品研發(fā)及產(chǎn)業(yè)管理方面率先垂范、具有成效;中西部地區(qū)近年來實現(xiàn)跨越式發(fā)展，已成為大數(shù)據(jù)發(fā)展的新增長極;東北地區(qū)依托東北老工業(yè)基地基礎(chǔ)，不斷發(fā)展工業(yè)大數(shù)據(jù)。從區(qū)域發(fā)展水平看，各省市大數(shù)據(jù)產(chǎn)業(yè)發(fā)展水平差異較為明顯，大數(shù)據(jù)產(chǎn)業(yè)發(fā)達(dá)省市大都集中在東部沿海地區(qū)。北京、江蘇、廣東、山東、上海、福建、浙江等排名前7的省市都位于東部沿海地區(qū)，主要原因在于這些省市信息產(chǎn)業(yè)發(fā)展基礎(chǔ)好，集聚了大批知名大數(shù)據(jù)、軟件、電子制造等知名企業(yè)，大數(shù)據(jù)相關(guān)創(chuàng)新創(chuàng)業(yè)活躍，從而使得整個產(chǎn)業(yè)呈現(xiàn)較高發(fā)展水平。

（三）企業(yè)布局細(xì)分行業(yè)，不斷夯實創(chuàng)新基礎(chǔ)

當(dāng)前我國大數(shù)據(jù)企業(yè)業(yè)務(wù)范圍不斷拓展，幾乎覆蓋了產(chǎn)業(yè)鏈的各個環(huán)節(jié)。其中以從事大數(shù)據(jù)分析挖掘業(yè)務(wù)的企業(yè)最為集中，所占比例高達(dá)63.7%;從事數(shù)據(jù)采集業(yè)務(wù)的企業(yè)占比為37.4%;從事IDC、數(shù)據(jù)中心租賃等數(shù)據(jù)存儲業(yè)務(wù)的企業(yè)比重最低，僅為8.5%;從事數(shù)據(jù)分類、清洗加工、脫敏等預(yù)處理業(yè)務(wù)的企業(yè)占比為27.8%;從事數(shù)據(jù)可視化相關(guān)業(yè)務(wù)的企業(yè)占比14.3%;從事大數(shù)據(jù)交易、交換共享等數(shù)據(jù)流通業(yè)務(wù)的企業(yè)占比18.3%。

同時，我國企業(yè)已經(jīng)在大數(shù)據(jù)領(lǐng)域開始布局，不僅加強(qiáng)物理存儲設(shè)備與處理能力的建設(shè)，也加快技術(shù)產(chǎn)品的研發(fā)與人才隊伍的培養(yǎng)。在軟硬件方面，國內(nèi)骨干軟硬件企業(yè)陸續(xù)推出自主研發(fā)的大數(shù)據(jù)基礎(chǔ)平臺產(chǎn)品，一批信息服務(wù)企業(yè)面向特定領(lǐng)域研發(fā)數(shù)據(jù)分析工具，提供創(chuàng)新型數(shù)據(jù)服務(wù)。在平臺建設(shè)方面，阿里、百度、騰訊等互聯(lián)網(wǎng)龍頭企業(yè)服務(wù)器單集群規(guī)模達(dá)到上萬臺，具備建設(shè)和運(yùn)維超大規(guī)模大數(shù)據(jù)平臺的技術(shù)實力。

在智能分析方面，科大訊飛、第四范式等企業(yè)積極布局深度學(xué)習(xí)等人工智能前沿技術(shù)，在語音識別、圖像理解、文本挖掘等方面搶占技術(shù)制高點(diǎn)。在開源技術(shù)方面，我國對國際大數(shù)據(jù)開源軟件社區(qū)的貢獻(xiàn)不斷增大。面對各行業(yè)的特性需求和不同用戶的個性化需求，企業(yè)不斷地創(chuàng)新出新技術(shù)、新產(chǎn)品、新業(yè)態(tài)和新模式。

（四）行業(yè)應(yīng)用深度融合，應(yīng)用場景不斷豐富

2017年，大數(shù)據(jù)在各行業(yè)全面深度滲透，應(yīng)用場景不斷豐富，有力地促進(jìn)產(chǎn)業(yè)格局重構(gòu)，驅(qū)動生產(chǎn)方式和管理模式變革，推動制造業(yè)向網(wǎng)絡(luò)化、數(shù)字化和智能化方向發(fā)展。

在政務(wù)領(lǐng)域，我國不斷加強(qiáng)大數(shù)據(jù)在政府治理和社會服務(wù)領(lǐng)域的應(yīng)用，整合宏觀調(diào)控、稅收監(jiān)管、商事管理、信用體系建設(shè)、維穩(wěn)、公共安全等數(shù)據(jù)資源，加快數(shù)據(jù)共享開放，提升政府治理能力，例如中興智慧政務(wù)解決方案，通過智慧銀川項目建立了十個數(shù)據(jù)系統(tǒng)，形成13個子模塊，涵蓋了智慧政務(wù)、智慧環(huán)保、智慧交通、智慧安全等多個方面，進(jìn)行數(shù)據(jù)匯集、整合、分析挖掘，最終達(dá)到輔助政府決策的目標(biāo)。

在工業(yè)領(lǐng)域，通過運(yùn)用大數(shù)據(jù)技術(shù)對工業(yè)企業(yè)產(chǎn)生的海量數(shù)據(jù)進(jìn)行分析挖掘，得到有價值的分析結(jié)果，實現(xiàn)工業(yè)與互聯(lián)網(wǎng)等新一代信息技術(shù)融合創(chuàng)新發(fā)展不斷深入，例如東方國信打造BIOP工業(yè)大數(shù)據(jù)平臺，具備數(shù)據(jù)實時采集、數(shù)據(jù)整合治理等功能，可以實現(xiàn)從設(shè)備端到服務(wù)端的無縫銜接，通過整合現(xiàn)有生產(chǎn)端的MES、ERP、CPS等實時數(shù)據(jù)，統(tǒng)一匯總分析，提供實時監(jiān)控、生產(chǎn)管理等多種生產(chǎn)運(yùn)行管理的服務(wù)。

（五）資本市場規(guī)模增加，行業(yè)應(yīng)用仍為熱點(diǎn)

“大數(shù)據(jù)”逐漸度過概念熱炒期，大數(shù)據(jù)投融資并購活動熱度趨于穩(wěn)定。據(jù)不完全統(tǒng)計，截至2017年前三個月，國內(nèi)獲得融資的大數(shù)據(jù)企業(yè)有150家，2016年上半年、下半年、2017年上半年國內(nèi)大數(shù)據(jù)投融資金額分別為326.61億元、455.34億元、556.83億元，顯示國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)投融資的熱度正逐漸下降，隨著我國大數(shù)據(jù)產(chǎn)業(yè)格局日趨成熟，處在A輪（及之前）融資階段的初創(chuàng)型企業(yè)占比有所減少，越來越多的企業(yè)走向了B輪甚至C輪的融資。大數(shù)據(jù)企業(yè)對資本需求更旺盛，特別是對高量級資金的需求上升迅速。

發(fā)展特點(diǎn)

（一）技術(shù)特點(diǎn)

開源技術(shù)仍是大數(shù)據(jù)技術(shù)創(chuàng)新的重要模式。開源是當(dāng)前大數(shù)據(jù)技術(shù)創(chuàng)新的主要模式。根據(jù)初步統(tǒng)計，開源軟件和開源工具包括計算軟件、存儲軟件、查詢軟件、基礎(chǔ)平臺、平臺管理、系統(tǒng)工具、數(shù)據(jù)應(yīng)用等多個類型，覆蓋了大數(shù)據(jù)服務(wù)產(chǎn)業(yè)發(fā)展的各個環(huán)節(jié)，利用開源軟件企業(yè)可以在短時間內(nèi)構(gòu)建起大數(shù)據(jù)應(yīng)用平臺，進(jìn)而提供各類的大數(shù)據(jù)服務(wù)。2017年7月，在大數(shù)據(jù)開源軟件領(lǐng)域，Spark2.2的發(fā)布使得基于開源軟件的大數(shù)據(jù)商業(yè)服務(wù)水平進(jìn)一步提升，Structured Streaming的開發(fā)環(huán)境更加完善，將有助于端到端流應(yīng)用程序的構(gòu)建。

人工智能成為非結(jié)構(gòu)化數(shù)據(jù)處理的利器。大數(shù)據(jù)服務(wù)中的核心環(huán)節(jié)是數(shù)據(jù)價值的挖掘，隨著數(shù)據(jù)資源中非結(jié)構(gòu)化數(shù)據(jù)的快速增長，傳統(tǒng)的數(shù)據(jù)整合和處理方式已經(jīng)無法滿足大數(shù)據(jù)分析的需求，集合人工智能技術(shù)的大數(shù)據(jù)服務(wù)成為產(chǎn)業(yè)發(fā)展的重要方向。從數(shù)據(jù)對象來看，現(xiàn)有的大數(shù)據(jù)處理技術(shù)對于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)擁有較強(qiáng)的處理能力，而對于更多的非結(jié)構(gòu)化數(shù)據(jù)，其處理難度則大大增強(qiáng)。從技術(shù)創(chuàng)新方向來看，拓爾思、東方國信等大數(shù)據(jù)領(lǐng)軍企業(yè)均將非結(jié)構(gòu)化數(shù)據(jù)處理作為其技術(shù)研發(fā)的重點(diǎn)，其主要思路均是將海量的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。從技術(shù)路徑上來看，人工智能技術(shù)是非結(jié)構(gòu)化數(shù)據(jù)處理的重要手段，圖像識別、自然語言理解等技術(shù)在大數(shù)據(jù)處理的應(yīng)用更加頻繁。

區(qū)塊鏈技術(shù)正重構(gòu)數(shù)據(jù)交易體系。區(qū)塊鏈?zhǔn)侵竿ㄟ^密碼學(xué)方法產(chǎn)生相關(guān)聯(lián)的一串?dāng)?shù)據(jù)塊，以分布式方式實現(xiàn)集體維護(hù)可靠數(shù)據(jù)庫的技術(shù)方案。本質(zhì)上來看，區(qū)塊鏈?zhǔn)且环N點(diǎn)對點(diǎn)分布式賬本技術(shù)，涉及數(shù)據(jù)庫、安全加密、分布式計算、博弈論、共識機(jī)制等多種技術(shù)，區(qū)塊鏈技術(shù)下的數(shù)據(jù)具有完整性、可靠性、連續(xù)性、永久性、可追溯性、精確性與透明性等特點(diǎn)，突出應(yīng)用于有價值的數(shù)據(jù)流通方面。

（二）結(jié)構(gòu)特點(diǎn)

數(shù)據(jù)資源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的基礎(chǔ)，也是大數(shù)據(jù)服務(wù)的基本要素，只有擁有了豐富的數(shù)據(jù)資源，才能更好地發(fā)揮數(shù)據(jù)價值，建立以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)。2017年，隨著越來越多的企業(yè)特別是傳統(tǒng)行業(yè)企業(yè)對大數(shù)據(jù)的認(rèn)識更加深刻，行業(yè)數(shù)據(jù)積累量穩(wěn)步提升，但是，跨行業(yè)的數(shù)據(jù)鴻溝依然存在，數(shù)據(jù)流通不通暢、不充分，大數(shù)據(jù)的價值挖掘仍面臨較大困難。

從產(chǎn)業(yè)結(jié)構(gòu)來看，數(shù)據(jù)資源的開放利用至關(guān)重要，數(shù)據(jù)源服務(wù)商在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中處在重要位置。數(shù)據(jù)服務(wù)商通過對海量數(shù)據(jù)的采集、整合和預(yù)處理，形成了對整個大數(shù)據(jù)生態(tài)圈創(chuàng)新發(fā)展的基石。

在此基礎(chǔ)上，進(jìn)而推動數(shù)據(jù)價值的挖掘和應(yīng)用，并帶動服務(wù)器等大數(shù)據(jù)硬件、大數(shù)據(jù)分析軟件等產(chǎn)業(yè)的快速發(fā)展。從我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀來看，以互聯(lián)網(wǎng)巨頭為代表的互聯(lián)網(wǎng)數(shù)據(jù)源服務(wù)商在產(chǎn)業(yè)發(fā)展中占據(jù)了主導(dǎo)地位，成為構(gòu)建大數(shù)據(jù)生態(tài)圈的主力軍。未來，隨著大數(shù)據(jù)與各行各業(yè)業(yè)務(wù)的融合滲透，擁有海量數(shù)據(jù)的行業(yè)領(lǐng)軍企業(yè)有望成為新的數(shù)據(jù)源服務(wù)商，數(shù)字交易標(biāo)準(zhǔn)的建立將帶動數(shù)據(jù)資源在各行各業(yè)中的可信流通，帶動大數(shù)據(jù)服務(wù)產(chǎn)業(yè)的快速發(fā)展。

（三）企業(yè)特點(diǎn)

領(lǐng)軍企業(yè)加速構(gòu)建行業(yè)數(shù)據(jù)平臺。由于數(shù)據(jù)源在大數(shù)據(jù)發(fā)展中處于基礎(chǔ)性關(guān)鍵地位，擁有數(shù)據(jù)資源的企業(yè)在大數(shù)據(jù)發(fā)展中處于優(yōu)勢地位。從我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀來看，擁有海量互聯(lián)網(wǎng)數(shù)據(jù)資源的百度、騰訊、阿里巴巴，以及擁有電信運(yùn)營數(shù)據(jù)的電信運(yùn)營商，在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中處于領(lǐng)先地位。在擁有大量數(shù)據(jù)資源和大數(shù)據(jù)關(guān)鍵技術(shù)后，互聯(lián)網(wǎng)大數(shù)據(jù)服務(wù)巨頭紛紛開放大數(shù)據(jù)服務(wù)平臺，為企業(yè)和個人用戶提供豐富的大數(shù)據(jù)服務(wù)應(yīng)用。百度憑借深厚的數(shù)據(jù)積累，在大數(shù)據(jù)服務(wù)領(lǐng)域占據(jù)一定的競爭優(yōu)勢，其提供的數(shù)據(jù)服務(wù)和產(chǎn)品包括了行業(yè)洞察、營銷決策、客群分析、輿情監(jiān)控、店鋪分析、推薦引擎以及數(shù)據(jù)加油站等;阿里巴巴推出了大數(shù)據(jù)平臺“數(shù)加”，在此基礎(chǔ)上提供了20余個大數(shù)據(jù)產(chǎn)品，涵蓋數(shù)據(jù)采集、計算引擎、整合加工、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)應(yīng)用服務(wù)。

行業(yè)企業(yè)深耕行業(yè)應(yīng)用需求，提升垂直領(lǐng)域競爭優(yōu)勢。除大型互聯(lián)網(wǎng)企業(yè)之外，我國行業(yè)領(lǐng)軍企業(yè)和深耕行業(yè)信息化的科技企業(yè)則聚焦于行業(yè)應(yīng)用，為特定行業(yè)企業(yè)提供大數(shù)據(jù)服務(wù)。經(jīng)過多年的積累與發(fā)展，金融、電信、政務(wù)、商貿(mào)等領(lǐng)域數(shù)據(jù)資源較為豐富，信息化發(fā)展水平較高，為行業(yè)大數(shù)據(jù)的發(fā)展提供了有利條件。在此背景下，垂直領(lǐng)域的大數(shù)據(jù)服務(wù)業(yè)呈現(xiàn)出快速發(fā)展態(tài)勢，在營銷、預(yù)測、預(yù)警、智能管理等場景下實現(xiàn)了應(yīng)用。