大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)展望

王海濤，毛睿，明仲

1. 深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院，廣東　深圳　518060；2. 大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國家工程實(shí)驗(yàn)室，廣東　深圳　518060

1　引言

大數(shù)據(jù)是新一代信息技術(shù)的核心方面和競爭前沿，也是制約大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的關(guān)鍵瓶頸。大數(shù)據(jù)技術(shù)創(chuàng)新能力已經(jīng)成為后信息時(shí)代衡量國家競爭力的重要指標(biāo)。與傳統(tǒng)信息產(chǎn)業(yè)的發(fā)展過程相似，大數(shù)據(jù)必將逐漸形成一個(gè)相對獨(dú)立、體系完善的產(chǎn)業(yè)形態(tài)，完成傳統(tǒng)信息產(chǎn)業(yè)的升級換代?；ヂ?lián)網(wǎng)和云計(jì)算的發(fā)展過程與趨勢已經(jīng)證明，大數(shù)據(jù)未來的產(chǎn)業(yè)形態(tài)將是以服務(wù)為核心的新型產(chǎn)業(yè)形態(tài)，大數(shù)據(jù)產(chǎn)業(yè)體系的各個(gè)環(huán)節(jié)將提供極為豐富的服務(wù)。

大數(shù)據(jù)是國家、社會(huì)和產(chǎn)業(yè)在后信息時(shí)代的戰(zhàn)略性資源，以大數(shù)據(jù)為核心支撐的新一代信息技術(shù)與應(yīng)用（如互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)、智慧城市、智能制造等）利用大數(shù)據(jù)資源的手段和工具，為社會(huì)提供信息服務(wù)，其最終目的是利用大數(shù)據(jù)解決科學(xué)研究、社會(huì)管理、產(chǎn)業(yè)發(fā)展等一系列實(shí)際問題，從而在戰(zhàn)略決策、運(yùn)營管理、終端服務(wù)等不同層面和環(huán)節(jié)提升效能與效益，形成新的核心競爭力。當(dāng)前，全社會(huì)數(shù)據(jù)產(chǎn)生越來越快、積累越來越多，大數(shù)據(jù)資源越來越豐富，而現(xiàn)有的信息技術(shù)已經(jīng)跟不上數(shù)據(jù)的發(fā)展，特別是對大數(shù)據(jù)的處理、分析與應(yīng)用已經(jīng)成為全球性問題，引起了各國政府和產(chǎn)業(yè)界的高度重視。

大規(guī)模且高復(fù)雜性的大數(shù)據(jù)，其處理時(shí)間、響應(yīng)速度等都有明確且具體的要求，這對計(jì)算平臺(tái)的架構(gòu)、計(jì)算模型的框架、共性技術(shù)等提出了更高的要求。傳統(tǒng)的以計(jì)算速度為優(yōu)先的設(shè)計(jì)理念已經(jīng)不能滿足當(dāng)前大數(shù)據(jù)時(shí)代的處理需求，新計(jì)算平臺(tái)的研發(fā)、框架設(shè)計(jì)和共性技術(shù)開發(fā)等需要兼顧效率與效能的雙重標(biāo)準(zhǔn)，同時(shí)兼顧大數(shù)據(jù)類型多、變化快、價(jià)值稀疏的特性。

2　大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)現(xiàn)狀與問題

大數(shù)據(jù)計(jì)算平臺(tái)是大數(shù)據(jù)的硬件與系統(tǒng)基礎(chǔ)，對大數(shù)據(jù)的所有分析與處理都需要在高性能的計(jì)算平臺(tái)上進(jìn)行；共性技術(shù)是大數(shù)據(jù)分析與處理的知識與技術(shù)基礎(chǔ)，所有的大數(shù)據(jù)系統(tǒng)都涉及數(shù)據(jù)采集、傳輸、存儲(chǔ)、處理和分析過程中的多項(xiàng)共性的技術(shù)；典型的應(yīng)用可以用來驗(yàn)證計(jì)算平臺(tái)和共性技術(shù)的可行性與執(zhí)行效率，并為相近應(yīng)用的研發(fā)提供借鑒。

經(jīng)過近幾年的快速發(fā)展，大數(shù)據(jù)已經(jīng)形成從數(shù)據(jù)采集、數(shù)據(jù)處理到數(shù)據(jù)分析的完整產(chǎn)業(yè)，為社會(huì)經(jīng)濟(jì)的發(fā)展提供有力的數(shù)據(jù)支持。然而技術(shù)的發(fā)展趕不上數(shù)據(jù)數(shù)量和形式的變化速度，這需要大數(shù)據(jù)研發(fā)和從業(yè)人員不斷努力來適應(yīng)新情況。下面從計(jì)算平臺(tái)、共性技術(shù)和應(yīng)用3個(gè)方面對大數(shù)據(jù)的技術(shù)現(xiàn)狀及存在的問題進(jìn)行闡述。

2.1　大數(shù)據(jù)計(jì)算平臺(tái)現(xiàn)狀及存在的問題

大數(shù)據(jù)計(jì)算平臺(tái)是大數(shù)據(jù)產(chǎn)品體系的核心龍頭。大數(shù)據(jù)計(jì)算平臺(tái)以云計(jì)算為基礎(chǔ)環(huán)境、以服務(wù)模式為總體架構(gòu)，覆蓋大數(shù)據(jù)應(yīng)用全過程，支持多源異構(gòu)海量數(shù)據(jù)的采集、存儲(chǔ)、集成、處理、分析、可視化展現(xiàn)、交互式應(yīng)用，涉及企業(yè)大數(shù)據(jù)產(chǎn)品體系的各個(gè)層面，為各層產(chǎn)品實(shí)現(xiàn)提供關(guān)鍵技術(shù)支撐。

當(dāng)前，面向信息服務(wù)的大數(shù)據(jù)計(jì)算平臺(tái)還遠(yuǎn)不成熟，平臺(tái)優(yōu)化和節(jié)能等關(guān)鍵技術(shù)有待突破，面臨的問題主要包括以下幾個(gè)方面。

● 平臺(tái)研發(fā)需要交叉學(xué)科知識。由于大數(shù)據(jù)計(jì)算平臺(tái)環(huán)境復(fù)雜，要提高大數(shù)據(jù)計(jì)算平臺(tái)的處理能力、優(yōu)化平臺(tái)性能和降低能耗、提高平臺(tái)的安全性和隱私保護(hù)，需要多學(xué)科、多種專業(yè)背景的科研人員協(xié)同創(chuàng)新、聯(lián)合攻關(guān)，才能實(shí)現(xiàn)技術(shù)突破。平臺(tái)研發(fā)需要交叉學(xué)科知識。

● 平臺(tái)研發(fā)人才缺乏。由于大數(shù)據(jù)應(yīng)用在許多行業(yè)屬于新生事物，雖然很多企業(yè)管理者認(rèn)識到了大數(shù)據(jù)的潛在價(jià)值，但還處于觀望狀態(tài)，不愿冒風(fēng)險(xiǎn)做領(lǐng)先者；多數(shù)企業(yè)缺少大數(shù)據(jù)技術(shù)和應(yīng)用人才，也缺少大數(shù)據(jù)應(yīng)用的技術(shù)平臺(tái)，無法開展實(shí)際應(yīng)用項(xiàng)目；目前大數(shù)據(jù)技術(shù)還很不成熟，很多是開源軟件，實(shí)施應(yīng)用項(xiàng)目成本高、風(fēng)險(xiǎn)大。企業(yè)、科研機(jī)構(gòu)和大學(xué)協(xié)同創(chuàng)新是突破行業(yè)示范應(yīng)用障礙的有效途徑。

● 平臺(tái)框架需要突破。大數(shù)據(jù)計(jì)算平臺(tái)的處理和分析能力主要依賴分布式計(jì)算框架來完成。分布式計(jì)算框架不僅要提供高效的計(jì)算模型、簡單的編程接口，還要具備容錯(cuò)能力和高擴(kuò)展性。大數(shù)據(jù)計(jì)算平臺(tái)的計(jì)算框架主要分為批處理和流處理兩種。批處理計(jì)算框架主要針對靜態(tài)數(shù)據(jù)的離線計(jì)算，吞吐量好，但是不能保證實(shí)時(shí)性；流處理計(jì)算框架主要針對動(dòng)態(tài)數(shù)據(jù)的在線實(shí)時(shí)計(jì)算，時(shí)效性好，但是難以獲取數(shù)據(jù)全貌。

● 技術(shù)環(huán)境不統(tǒng)一。目前大數(shù)據(jù)最前沿的計(jì)算框架和衍生的生態(tài)圈都分布在以GitHub為主的開源社區(qū)內(nèi)，形成了大數(shù)據(jù)基礎(chǔ)架構(gòu)和大數(shù)據(jù)分析處理技術(shù)群。大數(shù)據(jù)的技術(shù)環(huán)境為用戶提供了豐富的技術(shù)選擇，但也給用戶掌握和使用多樣性的大數(shù)據(jù)技術(shù)造成障礙，且提高了應(yīng)用成本。

2.2　大數(shù)據(jù)共性技術(shù)現(xiàn)狀及存在的問題

根據(jù)處理流程，大數(shù)據(jù)技術(shù)可以分為基礎(chǔ)架構(gòu)支持、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算以及展現(xiàn)與交互幾類。具體來說，基礎(chǔ)架構(gòu)涉及的技術(shù)包括云計(jì)算平臺(tái)、云存儲(chǔ)、虛擬化、網(wǎng)絡(luò)以及資源監(jiān)控等；數(shù)據(jù)采集涉及的技術(shù)包括數(shù)據(jù)總線、抽取—轉(zhuǎn)換—加載（extract-transform-load，ETL）工具等；數(shù)據(jù)存儲(chǔ)涉及的技術(shù)包括分布式文件系統(tǒng)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等；數(shù)據(jù)計(jì)算涉及的技術(shù)包括數(shù)據(jù)查詢、統(tǒng)計(jì)與分析、數(shù)據(jù)預(yù)測與挖掘、圖譜挖掘、商業(yè)智能（business intelligence，BI）等；展現(xiàn)與交互技術(shù)包括圖形與報(bào)表、可視化工具、增強(qiáng)現(xiàn)實(shí)技術(shù)等。此外，大數(shù)據(jù)技術(shù)還包括大數(shù)據(jù)的安全與隱私保護(hù)等相關(guān)技術(shù)。

當(dāng)前，大數(shù)據(jù)的存儲(chǔ)、處理、分析、展示等關(guān)鍵技術(shù)有待突破，大數(shù)據(jù)處理和分析能力、算法的數(shù)據(jù)處理能力遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際應(yīng)用要求?，F(xiàn)有的信息技術(shù)不足以解決大數(shù)據(jù)的問題，面對豐富和復(fù)雜的大數(shù)據(jù)應(yīng)用場景，需要多學(xué)科、多領(lǐng)域的交叉合作才能解決。這給傳統(tǒng)信息技術(shù)帶來了挑戰(zhàn)，主要表現(xiàn)在：多源多模大數(shù)據(jù)的獲取和融合；對數(shù)據(jù)質(zhì)量和低質(zhì)量數(shù)據(jù)的容忍；面向大數(shù)據(jù)算法及理論的進(jìn)一步研究；對現(xiàn)有可擴(kuò)展存儲(chǔ)和處理的計(jì)算架構(gòu)更新設(shè)計(jì)；對大數(shù)據(jù)并行處理及分析挖掘技術(shù)適應(yīng)性設(shè)計(jì)等。

2.3　大數(shù)據(jù)應(yīng)用的現(xiàn)狀及存在的問題

隨著國家政策扶持力度的不斷加大，產(chǎn)業(yè)資本的持續(xù)投入，國內(nèi)外發(fā)展大數(shù)據(jù)的積極性都很高，行業(yè)應(yīng)用得到快速推廣。當(dāng)前，大數(shù)據(jù)的應(yīng)用給企業(yè)不僅帶來了技術(shù)和應(yīng)用模式上的突破，還為商業(yè)模式的創(chuàng)新以及企業(yè)的轉(zhuǎn)型發(fā)展帶來了驅(qū)動(dòng)力。對公共服務(wù)機(jī)構(gòu)來說，挖掘大數(shù)據(jù)的潛在價(jià)值對解決城市發(fā)展問題、完善社會(huì)機(jī)制、更好地服務(wù)于市民有著重大的意義。

雖然大數(shù)據(jù)應(yīng)用逐步深入人們的生活，但限于目前大數(shù)據(jù)技術(shù)仍不成熟，因此與實(shí)際問題解決需求存在一定的差異，主要表現(xiàn)如下。

● 時(shí)空大數(shù)據(jù)面臨海量數(shù)據(jù)管理、時(shí)空數(shù)據(jù)融合、時(shí)空大數(shù)據(jù)理論框架和時(shí)空推理與數(shù)據(jù)挖掘的深度結(jié)合的挑戰(zhàn)；針對時(shí)空大數(shù)據(jù)模式發(fā)現(xiàn)與價(jià)值提煉的問題，揭示大尺度事件的演化推理機(jī)理，突破大尺度安全時(shí)間的理解和局限的挑戰(zhàn)。

● 媒體大數(shù)據(jù)的包容量大、源頭多且成分迥異的特性，給媒體大數(shù)據(jù)計(jì)算理論和關(guān)聯(lián)算法的研究帶來了巨大的挑戰(zhàn)。此外，目前無論是科學(xué)研究還是新技術(shù)開發(fā)，都沒有解決計(jì)算機(jī)按內(nèi)容自動(dòng)搜索視頻媒體的可行性方案。

● 為了有效地利用物聯(lián)網(wǎng)海量多樣化的大數(shù)據(jù)，挖掘其價(jià)值，一方面需要對網(wǎng)絡(luò)進(jìn)行優(yōu)化，使其具備未來物聯(lián)網(wǎng)需具備的承載大數(shù)據(jù)的能力；另一方面，對用戶的服務(wù)進(jìn)行分析挖掘，充分實(shí)現(xiàn)物聯(lián)網(wǎng)的潛在價(jià)值。

● 物流大數(shù)據(jù)應(yīng)用領(lǐng)域面臨使用大數(shù)據(jù)技術(shù)推動(dòng)電子商務(wù)與現(xiàn)代物流的協(xié)同發(fā)展問題，是物流大數(shù)據(jù)應(yīng)用的一大挑戰(zhàn)。

3　大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺(tái)

在國際社會(huì)和我國政府將大數(shù)據(jù)上升為國家戰(zhàn)略的背景下、在我國大數(shù)據(jù)計(jì)算平臺(tái)和共性技術(shù)研究不充分的情況下，國家發(fā)展和改革委員會(huì)于2017年正式批復(fù)由深圳大學(xué)牽頭建設(shè)大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國家工程實(shí)驗(yàn)室（以下簡稱國家工程實(shí)驗(yàn)室）。國家工程實(shí)驗(yàn)室面向國家實(shí)施大數(shù)據(jù)戰(zhàn)略的需求，著重解決我國大數(shù)據(jù)計(jì)算平臺(tái)安全可信性差、軟件通用性低的突出問題；采用國產(chǎn)高性能處理器互聯(lián)芯片和計(jì)算平臺(tái)，實(shí)現(xiàn)大數(shù)據(jù)智能診斷和自動(dòng)糾錯(cuò)等可靠性信息高速轉(zhuǎn)發(fā)，提升大數(shù)據(jù)計(jì)算平臺(tái)的安全控制能力，滿足國家加密算法的要求；以研制自主可控、通用性強(qiáng)的大數(shù)據(jù)計(jì)算平臺(tái)為核心目標(biāo)，解決高性能大數(shù)據(jù)計(jì)算中的共性問題，并以此為基礎(chǔ)，著力開展大數(shù)據(jù)示范性應(yīng)用研發(fā)。各技術(shù)方向的架構(gòu)和關(guān)系如圖1所示。

圖1　國家工程實(shí)驗(yàn)室研究方向

國家工程實(shí)驗(yàn)室計(jì)劃突破的3個(gè)主要技術(shù)方向包括高性能高安全的大數(shù)據(jù)計(jì)算平臺(tái)研發(fā)、高度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)研究、大數(shù)據(jù)示范性應(yīng)用研發(fā)，有針對性地解決目前我國大數(shù)據(jù)計(jì)算平臺(tái)面臨的安全性差、通用性低等突出問題。采用全國產(chǎn)化、面向特定工程領(lǐng)域的芯片及軟件技術(shù)，實(shí)現(xiàn)完全自主可控的高性能大數(shù)據(jù)計(jì)算平臺(tái)。將在該自主可控的硬件計(jì)算平臺(tái)上，研發(fā)可以適用于大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的通用系統(tǒng)軟件。還將面向大數(shù)據(jù)計(jì)算中的示范性應(yīng)用，開展應(yīng)用軟件技術(shù)的研發(fā)，實(shí)現(xiàn)“硬件—系統(tǒng)軟件—應(yīng)用軟件”的完整的大數(shù)據(jù)計(jì)算生態(tài)環(huán)境。

（1）高性能高安全的大數(shù)據(jù)計(jì)算平臺(tái)研發(fā)

隨著國家、國防信息化建設(shè)的發(fā)展，構(gòu)建自主可控的大數(shù)據(jù)計(jì)算平臺(tái)是國家戰(zhàn)略安全的至關(guān)重要的問題。目前我國絕大多數(shù)的大數(shù)據(jù)計(jì)算平臺(tái)都基于國外的軟硬件系統(tǒng)。大數(shù)據(jù)計(jì)算平臺(tái)安全可信性差和軟件通用性低等問題，成為大數(shù)據(jù)行業(yè)最為突出的核心問題。采用國外的基礎(chǔ)技術(shù)平臺(tái)，不僅在核心技術(shù)上受制于人，而且對我國重要數(shù)據(jù)信息的安全構(gòu)成了直接威脅。國家工程實(shí)驗(yàn)室將從“硬件—系統(tǒng)軟件—應(yīng)用”3個(gè)層次，全面構(gòu)建國產(chǎn)化高可靠性、高性能大數(shù)據(jù)平臺(tái)。該平臺(tái)的建設(shè)以研制基于國產(chǎn)化處理器的大數(shù)據(jù)計(jì)算硬件系統(tǒng)為核心方向。采用創(chuàng)新的RAS 2.0（增強(qiáng)的可靠性（reliability）、可用性（availability）及可服務(wù)性（serviceability））和處理器互聯(lián)技術(shù)，提供超越現(xiàn)有標(biāo)準(zhǔn)開放平臺(tái)的單機(jī)可靠性和計(jì)算性能。采用基于固件、不依賴操作系統(tǒng)（operatin system，OS）的故障響應(yīng)和診斷機(jī)制，能夠全面、自動(dòng)收集故障信息并進(jìn)行分析，實(shí)現(xiàn)主動(dòng)預(yù)警、隔離、替換失效部件，并率先支持CPU、內(nèi)存等核心部件的在線維護(hù)，面向計(jì)劃內(nèi)零停機(jī)維護(hù)設(shè)計(jì)，保障重要部門和企業(yè)的關(guān)鍵業(yè)務(wù)連續(xù)運(yùn)行。

（2）高 度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)研究

國家工程實(shí)驗(yàn)室將開展面向高度通用的大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的研究。大數(shù)據(jù)計(jì)算在數(shù)據(jù)量、數(shù)據(jù)類型方面與傳統(tǒng)高性能計(jì)算有顯著不同，對數(shù)據(jù)的實(shí)時(shí)響應(yīng)、安全性等方面也有特殊的要求。國家工程實(shí)驗(yàn)室擬在通用大數(shù)據(jù)并行計(jì)算框架、一體化平臺(tái)集成、數(shù)據(jù)存儲(chǔ)、資源調(diào)度、數(shù)據(jù)安全、一體化應(yīng)用環(huán)境6個(gè)方面開展研究?；诙攘靠臻g的大數(shù)據(jù)抽象框架，利用度量空間將大數(shù)據(jù)復(fù)雜繁多的數(shù)據(jù)類型和多樣化的距離抽象為統(tǒng)一的數(shù)據(jù)類型和距離函數(shù)接口，并通過支撐點(diǎn)選取算法選取若干支撐點(diǎn)，以數(shù)據(jù)到支撐點(diǎn)的距離為坐標(biāo)，從而將數(shù)據(jù)從無坐標(biāo)的度量空間映射到有坐標(biāo)的多維空間，使眾多數(shù)學(xué)工具得以使用。

（3）大數(shù)據(jù)示范性應(yīng)用研發(fā)

研發(fā)特定領(lǐng)域的大數(shù)據(jù)示范性應(yīng)用及其共性技術(shù)是國家工程實(shí)驗(yàn)室建設(shè)的重要目標(biāo)之一。國家工程實(shí)驗(yàn)室建設(shè)期間將從“智慧城市”“智能制造”“智慧政府”及“智慧服務(wù)”等領(lǐng)域的關(guān)鍵應(yīng)用技術(shù)出發(fā)，開展五大示范性應(yīng)用及共性技術(shù)的開發(fā)，包括多維時(shí)空大數(shù)據(jù)分析在智慧城市中的示范應(yīng)用、物流大數(shù)據(jù)示范應(yīng)用、媒體大數(shù)據(jù)分析的示范應(yīng)用、物聯(lián)網(wǎng)大數(shù)據(jù)示范應(yīng)用以及大數(shù)據(jù)可視化分析技術(shù)的示范應(yīng)用。通過示范應(yīng)用的開發(fā)及共性技術(shù)的研究，建立大數(shù)據(jù)“產(chǎn)學(xué)研用”協(xié)同創(chuàng)新生態(tài)鏈，促進(jìn)大眾創(chuàng)業(yè)和萬眾創(chuàng)新。

4　基于大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)平臺(tái)打造大數(shù)據(jù)生態(tài)創(chuàng)新基地

國家工程實(shí)驗(yàn)室的總體功能定位概括為我國大數(shù)據(jù)領(lǐng)域領(lǐng)先的“4個(gè)基地”，分別介紹如下。

（1）大數(shù)據(jù)技術(shù)創(chuàng)新與計(jì)算平臺(tái)基地

國家工程實(shí)驗(yàn)室特別注重大數(shù)據(jù)計(jì)算共性關(guān)鍵技術(shù)的源頭創(chuàng)新能力，大數(shù)據(jù)計(jì)算平臺(tái)的基礎(chǔ)支撐能力以及對前沿技術(shù)成果和重大項(xiàng)目方案的集成、測試、驗(yàn)證的能力，保障產(chǎn)業(yè)界對先進(jìn)、成熟的技術(shù)的應(yīng)用需求。

（2）人才培養(yǎng)與交流基地

國家工程實(shí)驗(yàn)室以重大需求引領(lǐng)技術(shù)創(chuàng)新和多學(xué)科交叉為人才培養(yǎng)特色，以校企聯(lián)合及國際化為人才培養(yǎng)途徑，著力培養(yǎng)兼具理論探索和實(shí)踐開發(fā)的復(fù)合型人才；同時(shí)，通過與中國港澳地區(qū)及歐美知名高校開展聯(lián)合研究、特色專業(yè)、訪問學(xué)者等活動(dòng)，實(shí)現(xiàn)國際高端人才的常態(tài)化交流與合作，發(fā)展成為區(qū)域性大數(shù)據(jù)高端人才培養(yǎng)與國際交流基地。

（3）產(chǎn)業(yè)孵化與服務(wù)基地

國家工程實(shí)驗(yàn)室針對深圳、香港及珠三角地區(qū)新一代信息技術(shù)領(lǐng)域創(chuàng)客群體對大數(shù)據(jù)技術(shù)與服務(wù)的共性需求，提供大數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)的技術(shù)、平臺(tái)、人才等公共技術(shù)服務(wù)支撐，促進(jìn)創(chuàng)業(yè)項(xiàng)目加速成熟。

（4）大數(shù)據(jù)協(xié)同創(chuàng)新基地

國家工程實(shí)驗(yàn)室廣泛對接政府和社會(huì)資源，成為以政府開放數(shù)據(jù)為源頭、以社會(huì)應(yīng)用需求為引領(lǐng)、以大數(shù)據(jù)平臺(tái)為核心、以廣東及香港高校人才團(tuán)隊(duì)為支撐、以社會(huì)資本為紐帶、以龍頭企業(yè)和產(chǎn)業(yè)園區(qū)為出口的大數(shù)據(jù)上下游鏈條協(xié)同合作與發(fā)展的樞紐，共同建設(shè)良好的融合大數(shù)據(jù)領(lǐng)域“政產(chǎn)學(xué) 研資介用”多元?jiǎng)?chuàng)新資源的產(chǎn)業(yè)生態(tài)圈。

國家工程實(shí)驗(yàn)室以高校為建設(shè)主體，實(shí)現(xiàn)大數(shù)據(jù)領(lǐng)域的共性核心技術(shù)創(chuàng)新、核心平臺(tái)建設(shè)、高端人才培養(yǎng)、公共技術(shù)服務(wù)，符合大數(shù)據(jù)領(lǐng)域技術(shù)驅(qū)動(dòng)的發(fā)展要求。同時(shí)，高校作為國家公立科研機(jī)構(gòu)，能夠從根本上保障協(xié)同創(chuàng)新的公立性和持續(xù)性。

5　大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺(tái)

為有效地支撐大數(shù)據(jù)產(chǎn)業(yè)發(fā)展與應(yīng)用推廣，充分發(fā)揮國家工程實(shí)驗(yàn)室建設(shè)成果對各行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)共性需求的支撐能力，實(shí)驗(yàn)室將建設(shè)大數(shù)據(jù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺(tái)，平臺(tái)提供的核心子系統(tǒng)與功能包括以下幾個(gè)方面。

（1）數(shù)據(jù)資源目錄系統(tǒng)與服務(wù)

平臺(tái)將提供數(shù)據(jù)資源目錄服務(wù)。一方面，將已經(jīng)聚集的數(shù)據(jù)資源處理成標(biāo)準(zhǔn)數(shù)據(jù)集，授權(quán)第三方合作伙伴使用；另一方面，接收外部數(shù)據(jù)資源匯聚，將所用數(shù)據(jù)資源經(jīng)過處理后的標(biāo)準(zhǔn)數(shù)據(jù)集以數(shù)據(jù)資源目錄的形式提供給授權(quán)用戶訪問、查詢、分級使用，同時(shí)提供基于數(shù)據(jù)資源開展項(xiàng)目的清單，便于數(shù)據(jù)資源價(jià)值理解與橫向?qū)Ρ龋龠M(jìn)產(chǎn)業(yè)生態(tài)發(fā)展。

（2）行業(yè)大數(shù)據(jù)應(yīng)用案例庫及服務(wù)

為促進(jìn)行業(yè)大數(shù)據(jù)應(yīng)用普及推廣，不斷強(qiáng)化行業(yè)大數(shù)據(jù)應(yīng)用的標(biāo)準(zhǔn)化與產(chǎn)品化發(fā)展，平臺(tái)提供行業(yè)大數(shù)據(jù)應(yīng)用案例庫及相關(guān)服務(wù)，將依托平臺(tái)構(gòu)建的各個(gè)行業(yè)大數(shù)據(jù)應(yīng)用案例進(jìn)行統(tǒng)一管理，并對外授權(quán)服務(wù)。同時(shí)，借鑒開源軟件管理與發(fā)展模式，任何基于本平臺(tái)提供的案例進(jìn)行定制開發(fā)的案例有義務(wù)提交到本平臺(tái)，明確不同案例版本的所有權(quán)，促進(jìn)合作方之間的共贏發(fā)展。

（3）資源管理與共享服務(wù)

為有效支撐不同用戶及案例的開發(fā)與運(yùn)行，平臺(tái)將提供資源管理與共享服務(wù)，進(jìn)行用戶及案例管理，平臺(tái)將根據(jù)用戶案例的開發(fā)與運(yùn)行所需資源進(jìn)行動(dòng)態(tài)分配與管控，實(shí)現(xiàn)在IaaS層、PaaS層的平臺(tái)資源共享。

6　強(qiáng)化國家大數(shù)據(jù)創(chuàng)新能力

大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺(tái)處在國際大數(shù)據(jù)競相發(fā)展的起步階段和國際大數(shù)據(jù)的技術(shù)體系與產(chǎn)業(yè)格局尚未完善成熟的初級階段。瞄準(zhǔn)國際大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展趨勢，針對國家大數(shù)據(jù)發(fā)展戰(zhàn)略需求，依托區(qū)域大數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)優(yōu)越環(huán)境，發(fā)揮建設(shè)單位的創(chuàng)新成果基礎(chǔ)與互補(bǔ)資源優(yōu)勢，集中圍繞大數(shù)據(jù)處理與分析的主題，以建設(shè)大數(shù)據(jù)計(jì)算平臺(tái)與大數(shù)據(jù)共性技術(shù)為核心任務(wù)，以研發(fā)和促進(jìn)大數(shù)據(jù)重大行業(yè)應(yīng)用示范為導(dǎo)向，以構(gòu)建多學(xué)科、多領(lǐng)域交叉融合的創(chuàng)新載體為手段，全面系統(tǒng)地突破大數(shù)據(jù)領(lǐng)域的技術(shù)與應(yīng)用問題，通過自主創(chuàng)新的大數(shù)據(jù)成果，支持和驅(qū)動(dòng)相關(guān)產(chǎn)業(yè)轉(zhuǎn)型升級和雙創(chuàng)戰(zhàn)略深化實(shí)現(xiàn)。

首先，創(chuàng)新平臺(tái)將強(qiáng)化國家大數(shù)據(jù)創(chuàng)新能力建設(shè)。大數(shù)據(jù)是新一代信息技術(shù)的核心方面和競爭前沿，也是制約大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的關(guān)鍵瓶頸。大數(shù)據(jù)技術(shù)創(chuàng)新能力已經(jīng)成為后信息時(shí)代衡量國家競爭力的重要指標(biāo)。與傳統(tǒng)信息技術(shù)創(chuàng)新相比，大數(shù)據(jù)技術(shù)創(chuàng)新對科技人才、科研載體、合作模式、資源要素等提出了更高的要求，迫切需要能夠有效組織、融合、協(xié)同、發(fā)展多元化創(chuàng)新主體和資源的新型、高水平的大數(shù)據(jù)創(chuàng)新載體，承擔(dān)起滿足國家大數(shù)據(jù)需求的創(chuàng)新、組織、交流、合作的職責(zé)。通過本項(xiàng)目研發(fā)出自主可控的大數(shù)據(jù)計(jì)算平臺(tái)和一系列大數(shù)據(jù)共性技術(shù)，將成為國家大數(shù)據(jù)創(chuàng)新體系的重要組成部分和推進(jìn)抓手。

其次，創(chuàng)新平臺(tái)將滿足我國大數(shù)據(jù)技術(shù)與應(yīng)用的重大需求。大數(shù)據(jù)系統(tǒng)技術(shù)按技術(shù)創(chuàng)新平臺(tái)建設(shè)的直接產(chǎn)出就是系統(tǒng)全面地提供大數(shù)據(jù)技術(shù)成果，具體包括時(shí)空大數(shù)據(jù)、物流大數(shù)據(jù)、媒體大數(shù)據(jù)、物聯(lián)網(wǎng)大數(shù)據(jù)等示范性大數(shù)據(jù)應(yīng)用的相關(guān)機(jī)器學(xué)習(xí)理論、分析模型與算法以及應(yīng)用相關(guān)工具、系統(tǒng)與平臺(tái)、行業(yè)大數(shù)據(jù)應(yīng)用解決方案等。這些技術(shù)成果具有極強(qiáng)的適用性和推廣性，可進(jìn)一步面向具體應(yīng)用場景與需求進(jìn)行第三方定制開發(fā)，應(yīng)用到更廣泛的行業(yè)、領(lǐng)域、環(huán)節(jié)、場景，突破制約我國大數(shù)據(jù)應(yīng)用發(fā)展的瓶頸。

再次，創(chuàng)新平臺(tái)將促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大。與傳統(tǒng)信息產(chǎn)業(yè)的發(fā)展過程相似，大數(shù)據(jù)必將逐漸形成一個(gè)相對獨(dú)立、體系完善的產(chǎn)業(yè)形態(tài)，成為傳統(tǒng)信息產(chǎn)業(yè)的升級換代?；ヂ?lián)網(wǎng)和云計(jì)算的發(fā)展過程與趨勢已經(jīng)證明，大數(shù)據(jù)未來的產(chǎn)業(yè)形態(tài)將是以服務(wù)為核心的新型產(chǎn)業(yè)形態(tài)，大數(shù)據(jù)產(chǎn)業(yè)體系的各個(gè)環(huán)節(jié)將形成極為豐富的服務(wù)。建設(shè)從計(jì)算平臺(tái)、共性技術(shù)到示范應(yīng)用，全面覆蓋大數(shù)據(jù)技術(shù)體系中主要環(huán)節(jié)的核心技術(shù)創(chuàng)新與突破，相應(yīng)的技術(shù)成果將以技術(shù)、專利、軟件、系統(tǒng)、平臺(tái)、方案、培訓(xùn)、咨詢等形式為社會(huì)提供服務(wù)，促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大。

最后，創(chuàng)新平臺(tái)將助力我國大數(shù)據(jù)“雙創(chuàng)”生態(tài)環(huán)境成熟完善。當(dāng)前我國“雙創(chuàng)”戰(zhàn)略激發(fā)了眾多創(chuàng)客團(tuán)隊(duì)和創(chuàng)業(yè)孵化器的快速發(fā)展，大量與信息技術(shù)和服務(wù)相關(guān)的創(chuàng)業(yè)項(xiàng)目，特別是在互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能硬件等領(lǐng)域的創(chuàng)業(yè)項(xiàng)目，都離不開大數(shù)據(jù)技術(shù)的支持。大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺(tái)研制大數(shù)據(jù)計(jì)算平臺(tái)，研究大數(shù)據(jù)共性技術(shù)，具備開展大數(shù)據(jù)應(yīng)用的全部核心功能與組件，并通過服務(wù)的方式一站式提供給用戶，因此將成為“雙創(chuàng)”戰(zhàn)略的重要支撐，降低創(chuàng)客群體使用大數(shù)據(jù)技術(shù)的門檻，有助于創(chuàng)客群體之間的交流合作，形成以平臺(tái)為核心的大數(shù)據(jù)相關(guān)創(chuàng)新創(chuàng)業(yè)生態(tài)圈。

7　結(jié)束語

本文從大數(shù)據(jù)計(jì)算平臺(tái)、共性技術(shù)和大數(shù)據(jù)應(yīng)用的現(xiàn)狀及存在的問題出發(fā)，介紹了大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)國家工程實(shí)驗(yàn)室的大數(shù)據(jù)系統(tǒng)計(jì)算技術(shù)創(chuàng)新平臺(tái)。創(chuàng)新平臺(tái)以研制高性能高安全的計(jì)算平臺(tái)、高度通用的大數(shù)據(jù)共性技術(shù)為基礎(chǔ)，進(jìn)行大數(shù)據(jù)示范應(yīng)用的研發(fā)。依托創(chuàng)新平臺(tái)打造大數(shù)據(jù)生態(tài)創(chuàng)新基地，完善大數(shù)據(jù)“產(chǎn)學(xué)研”一體的綜合生態(tài)圈；建設(shè)大數(shù)據(jù)“產(chǎn)學(xué)研”合作及行業(yè)應(yīng)用示范平臺(tái)，改善大數(shù)據(jù)人才培養(yǎng)的環(huán)境，促進(jìn)大數(shù)據(jù)研究領(lǐng)域科研成果的轉(zhuǎn)化。創(chuàng)新平臺(tái)的建設(shè)將提升國家大數(shù)據(jù)創(chuàng)新能力，滿足我國大數(shù)據(jù)技術(shù)與應(yīng)用的重大需求，促進(jìn)我國大數(shù)據(jù)技術(shù)服務(wù)產(chǎn)業(yè)發(fā)展壯大，助力我國大數(shù)據(jù)“雙創(chuàng)”生態(tài)環(huán)境的成熟完善。