圍繞當前制約大數(shù)據(jù)應用發(fā)展的共性關鍵技術,特別是適合大數(shù)據(jù)特點的高性能、高可用的系統(tǒng)計算與分析技術,大數(shù)據(jù)系統(tǒng)計算技術國家工程實驗室開展成體系的技術攻關,以研發(fā)建設“高性能大數(shù)據(jù)計算平臺”為核心任務與目標,建設國內領先、國際一流的大數(shù)據(jù)技術創(chuàng)新平臺,同時聚焦時空大數(shù)據(jù)、智能制造大數(shù)據(jù)、視頻流媒體大數(shù)據(jù)、社交網(wǎng)絡大數(shù)據(jù)等前沿重點領域,開展大數(shù)據(jù)應用案例研發(fā)與示范應用,積極促進大數(shù)據(jù)“產(chǎn)學研”協(xié)同創(chuàng)新與產(chǎn)業(yè)化發(fā)展,力爭形成具有自主知識產(chǎn)權的成體系的大數(shù)據(jù)技術成果、高端人才團隊、公共服務平臺,成為我國領先的大數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)生態(tài)圈的智力支撐和技術服務基地。
大數(shù)據(jù)系統(tǒng)計算技術國家工程實驗室法人單位是深圳大學,共建單位有國家信息中心、中興通訊股份有限公司、清華大學、騰訊科技(深圳)有限公司。
深圳大學大數(shù)據(jù)團隊具有國內領先優(yōu)勢和特色的大數(shù)據(jù)學科布局,已建成的主要科研平臺包括:廣東省大數(shù)據(jù)協(xié)同創(chuàng)新中心、廣東省普及型高性能計算機重點實驗室、廣東高校大數(shù)據(jù)分析工程技術研究中心、國家信息中心深圳大數(shù)據(jù)研究院、深圳大數(shù)據(jù)智能信息處理工程實驗室、深圳物聯(lián)網(wǎng)專用芯片設計工程實驗室。
深圳大學大數(shù)據(jù)團隊目前有87名研究人員,其中教授20名、副教授36名、中國科學院院士1名、國際歐亞科學院院士1名、“千人計劃”專家1名、“國家杰出青年”1名、“國家優(yōu)秀青年”1名、廣東省領軍人才2名、“青年千人計劃”1名、教育部新世紀人才3名、廣東省“杰出青年”1名、IEEE Fellow 1名、廣東省“千百十工程”省級培養(yǎng)對象4名、鵬城學者1名、海外高層次人才“孔雀計劃”20多名。
具備自主芯片設計能力,研發(fā)了國際上首顆MV T(multi-value team)信號處理芯片,并成功流片。研制成功基于國產(chǎn)龍芯處理器的全國產(chǎn)普及型高性能計算機:KD60、KD90以及SD1、SD2、SD3、SD4、SD30。在大數(shù)據(jù)處理軟件方面,自主研發(fā)了大數(shù)據(jù)軟件平臺A lpha Miner,該平臺是國際上重要的大數(shù)據(jù)處理開源軟件之一。
國家信息中心是國家發(fā)展和改革委員會直屬事業(yè)單位,自1987年成立以來,積極服務于國家信息化建設,在重大戰(zhàn)略問題研究、重點信息化工程建設、信息資源開發(fā)利用等方面做了很多卓有成效的工作,是我國電子政務的重要支撐和服務力量,也是我國信息化理論創(chuàng)新和工程實踐的先行者。國家信息中心作為實驗室共建單位,主要具備3個方面的優(yōu)勢,即具有較強的電子政務云業(yè)務研究和技術集成研究能力;具有較好的項目配套條件;作為電子政務云計算領域重要的應用部門,有利于建立應用導向型的“產(chǎn)學研用”合作機制。
中興通訊股份有限公司是全球領先的綜合通訊解決方案及行業(yè)信息通信技術(information communication technology)解決方案提供商,擁有芯片設計和系統(tǒng)制造能力,是擁有完全自主知識產(chǎn)權的高科技企業(yè)。
中興通訊股份有限公司基于數(shù)據(jù)流并行執(zhí)行模型、數(shù)據(jù)流運行時系統(tǒng)及數(shù)據(jù)流抽象機等成熟理論,在大數(shù)據(jù)場景下自研創(chuàng)新,推出數(shù)據(jù)流大數(shù)據(jù)計算引擎Yita,大幅提高了大數(shù)據(jù)計算速度、計算資源利用率及系統(tǒng)數(shù)據(jù)吞吐量。
清華大學是中國乃至世界著名的高等學府之一,清華大學的計算機科學與技術專業(yè)在最新的國際排名中位于世界前列。鄭緯民教授和武永衛(wèi)教授帶領的大數(shù)據(jù)團隊研發(fā)的“面向Map Reduce的HDD-SSD混合存儲構建和異構集群優(yōu)化”項目,相對于標準的Ha doop分布式文件系統(tǒng) (Hadoop distributed file system,HDFS),能夠取得平均2.09倍的加速比;相對于最新的內存緩存方法PAC Man,也能夠取得平均1.79倍的加速比。
騰訊科技(深圳)有限公司是目前中國領先的互聯(lián)網(wǎng)綜合服務提供商之一,騰訊QQ、微信、QQ空間、微博等海量用戶業(yè)務積累了大量數(shù)據(jù)。騰訊科技(深圳)有限公司一直持續(xù)投入大數(shù)據(jù)計算平臺研發(fā),已有超過7年的累積經(jīng)驗,相關開發(fā)人員超過200人。目前騰訊科技(深圳)有限公司大數(shù)據(jù)計算平臺支持超過萬臺單集群調度能力,積累了超過200 PB的數(shù)據(jù),每天掃描數(shù)據(jù)量超過16.5 PB,日接入消息數(shù)達56000億條,日接入數(shù)據(jù)量達1.8 PB。在大數(shù)據(jù)應用方面優(yōu)勢明顯。