數(shù)據(jù)中心發(fā)展綜述

李潔 郭亮 謝麗娜

(中國信息通信研究院云計算與大數(shù)據(jù)研究所，北京 100191)

0 引言

2010年10月10日，國務院辦公廳發(fā)布《國務院關(guān)于加快培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的決定》指出，戰(zhàn)略性新興產(chǎn)業(yè)是引導未來經(jīng)濟社會發(fā)展的重要力量，發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)已成為世界主要國家搶占新一輪經(jīng)濟和科技發(fā)展制高點的重大戰(zhàn)略，并明確提出“促進物聯(lián)網(wǎng)、云計算的研發(fā)和示范應用”[1]，數(shù)據(jù)中心作為戰(zhàn)略性新興產(chǎn)業(yè)的重要基礎(chǔ)設施，迎來了大發(fā)展。本文對數(shù)據(jù)中心行業(yè)十年來高速發(fā)展的歷程進行了分階段的回顧，并對數(shù)據(jù)中心未來的發(fā)展趨勢進行了展望。

1 數(shù)據(jù)中心發(fā)展歷程

2010—2019年，我國IDC產(chǎn)業(yè)規(guī)模從2011年的170 億元達到2020年的1200 億元左右[2]，回顧這十年數(shù)據(jù)中心產(chǎn)業(yè)的發(fā)展特點，可分為以下3個階段。

1.1 高速擴張階段

2010—2012年，為高速擴張階段。由于國家對戰(zhàn)略性新興產(chǎn)業(yè)的推動和3G的規(guī)模商用，數(shù)據(jù)中心迎來大量投資。在該階段，全國約有機架18 萬個。按照2010年的市場規(guī)劃，在3～5年可提供35 萬個標準機柜，大部分布局在一線城市，平均每個數(shù)據(jù)中心僅不到300 個機柜，規(guī)模較小。另外，大部分數(shù)據(jù)中心PUE在2.5左右，技術(shù)和能效水平均偏低；部分新建數(shù)據(jù)中心上架率較低，存在場地、機架甚至服務器空閑的現(xiàn)象。

1.2 行業(yè)引導階段

2013—2016年，為行業(yè)引導階段。隨著國家及地方布局政策和相關(guān)標準的出臺，行業(yè)發(fā)展趨于冷靜，地方政府對數(shù)據(jù)中心產(chǎn)業(yè)定位認識更加清晰，對數(shù)據(jù)中心產(chǎn)業(yè)的引導政策更加明確，數(shù)據(jù)中心建設企業(yè)對市場需求的把控和預期更為理智，將數(shù)據(jù)中心的建設與應用相結(jié)合，提高數(shù)據(jù)中心上架率，豐富數(shù)據(jù)中心的業(yè)務服務。同時，利用行業(yè)組織的力量，開展了大量新技術(shù)研發(fā)與創(chuàng)新，如整機柜、微模塊等，數(shù)據(jù)中心向技術(shù)創(chuàng)新發(fā)展邁出更加堅實的步伐。

1.3 優(yōu)化發(fā)展階段

2017—2019年，為優(yōu)化發(fā)展階段。國家對數(shù)據(jù)中心日益關(guān)注，數(shù)據(jù)中心被納入國家新型工業(yè)化產(chǎn)業(yè)示范基地范疇，數(shù)據(jù)中心技術(shù)水平大幅提升，多個數(shù)據(jù)中心園區(qū)獲得國家數(shù)據(jù)中心示范基地，在行業(yè)內(nèi)開展應用示范。產(chǎn)業(yè)鏈各方企業(yè)通過市場競爭之后的梯隊局面逐漸形成，龍頭企業(yè)的市場和技術(shù)實力凸顯，加快產(chǎn)業(yè)生態(tài)的建設和完善 。

2020年3月，中共中央政治局常務委員會明確提出“加快5G網(wǎng)絡、數(shù)據(jù)中心等新型基礎(chǔ)設施建設進度”，國家發(fā)展和改革委員會將數(shù)據(jù)中心列入“新型基礎(chǔ)設施”范疇，數(shù)據(jù)中心得到了更多資本青睞。邊緣和云數(shù)據(jù)中心的協(xié)同、計算和存儲的融合、數(shù)據(jù)中心和網(wǎng)絡的協(xié)同成為行業(yè)主旋律。5G作為無線通信平臺，將物聯(lián)網(wǎng)、數(shù)據(jù)中心、人工智能以及工業(yè)互聯(lián)網(wǎng)等融合，構(gòu)成了完整的新一代信息基礎(chǔ)設施[3]。

2020年突發(fā)的新冠肺炎疫情，迫使更多的教育、辦公、餐廳和醫(yī)療等轉(zhuǎn)為線上，對數(shù)據(jù)中心需求量的激增促使騰訊、阿里巴巴、百度、京東和美團等紛紛對數(shù)據(jù)中心進行擴容，各大第三方服務商也紛紛加快布局。伴隨著對數(shù)據(jù)處理、計算、存儲、傳遞的需求和要求的不斷提高，數(shù)據(jù)中心作為數(shù)據(jù)的中心、計算的中心、網(wǎng)絡的中心，像“樹根”一樣承托滋養(yǎng)各類信息通信技術(shù)的創(chuàng)新、發(fā)展和落地，強力支撐數(shù)字經(jīng)濟的加速發(fā)展。

圖1 我國數(shù)據(jù)中心市場規(guī)模

2 現(xiàn)狀分析

2.1 整體增速較快

數(shù)據(jù)中心作為信息基礎(chǔ)設施，在數(shù)字經(jīng)濟高速發(fā)展的今天，其規(guī)模每年均在快速增長。根據(jù)CBRE相關(guān)報告[4]，全球數(shù)據(jù)中心熱點區(qū)域的IT容量增長率在14%～40%之間。其中，中國、亞太和歐洲等國家和地區(qū)的增速較高，美國熱點地區(qū)增速平穩(wěn)。亞太地區(qū)熱點城市的IT容量平均增長率在40%左右，2019年第一季度，新加坡總的IT容量為359.8 MW，預計2019—2021年將新增177.2 MW；同期，中國香港為299.5 MW，2019—2021年新增50 MW。

數(shù)據(jù)中心在歐洲最大的市場是法蘭克福、倫敦、阿姆斯特丹和巴黎，目前總IT容量為1670 MW，2019年增長了319 MW，增長率為24%，將近一半的容量是2019年第四季度上線[5]。美國的數(shù)據(jù)中心熱點地區(qū)，在2019年IT容量的平均增長率為14.34%，其中北弗吉尼亞為最高將近40%，紐約最低為6%左右[6]。

根據(jù)工業(yè)和信息化部發(fā)布的《全國數(shù)據(jù)中心發(fā)展指引》[7]，我國數(shù)據(jù)中心機架總數(shù)由2018年年底的226 萬增長到2019年年底的315 萬，增長率近40%。從全國數(shù)據(jù)中心熱點地區(qū)來看，增長率均超過40%。

2.2 產(chǎn)業(yè)效益較大

數(shù)據(jù)中心對社會、對產(chǎn)業(yè)帶來的直接或者間接的效益巨大。據(jù)Copenhagen Economics報告[8]，2007—2018年，谷歌在歐洲投資69 億歐元，用于數(shù)據(jù)中心相關(guān)的基礎(chǔ)設施建設和運營，這些數(shù)據(jù)中心分別位于比利時、芬蘭、愛爾蘭、荷蘭、丹麥；在此期間，這些投資每年產(chǎn)生了7.3 億歐元的GDP(11年共計產(chǎn)生GDP為88 億歐元)，在數(shù)據(jù)中心相關(guān)產(chǎn)業(yè)鏈，平均每年創(chuàng)造9600 個工作崗位。2010—2016年，F(xiàn)acebook在美國投資42 億美元建設數(shù)據(jù)中心，對GDP產(chǎn)生了58 億美元的貢獻以及6.01 萬個工作崗位[9]；2011—2018年，F(xiàn)acebook在丹麥、愛爾蘭和瑞典投資50 億歐元，創(chuàng)造了23 億歐元的GDP，并且每年提供了2816 個工作崗位[10]。

受新基建、網(wǎng)絡強國、數(shù)字經(jīng)濟等國家政策的影響以及新一代信息技術(shù)發(fā)展的驅(qū)動，我國IDC業(yè)務收入保持高速增長(見圖1)。根據(jù)中國信息通信研究院統(tǒng)計[11]，2019年我國IDC行業(yè)市場收入達到878 億元左右，近3年復合增長率約26%，預計未來仍將保持快速增長勢頭。從社會發(fā)展來看，2018年我國數(shù)字經(jīng)濟規(guī)模達31.3 萬億元[12]，到2019年該數(shù)值達到35.8 萬億[13]，數(shù)據(jù)中心等信息基礎(chǔ)設施在數(shù)字經(jīng)濟的體系架構(gòu)中發(fā)揮著重要作用。

2.3 算力持續(xù)提升

數(shù)據(jù)中心算力水平、機架規(guī)模與使用效率密切相關(guān)。數(shù)據(jù)中心機架規(guī)模越大表明數(shù)據(jù)中心能夠提供的理論算力越高；數(shù)據(jù)中心的使用效率越高說明當前提供的實際算力更多。據(jù)研究顯示[14]，截止到2019年年底，我國數(shù)據(jù)中心總算力(含通用算力和高性能算力)為79.74 EFLOPS(FP32)。綜合通用計算能力和高性能計算能力的算效，全國數(shù)據(jù)中心的總體算效達到18.16 GFLOPS/W(FP32)。隨著數(shù)據(jù)中心整體規(guī)模的提升，我國的總算力必然會有更大的增長，但是如何在大算力的前提下實現(xiàn)高算效是需要業(yè)界共同研究的問題。

3 發(fā)展趨勢

3.1 高速增長

數(shù)據(jù)中心作為關(guān)鍵信息基礎(chǔ)設施，近年來我國市場規(guī)?？傮w快速增長，遠高于全球市場平均增速。隨著新基建等相關(guān)政策的推進，多個地方政府先后出臺推動數(shù)據(jù)中心建設的政策文件，數(shù)據(jù)中心產(chǎn)業(yè)政策環(huán)境將持續(xù)完善。從產(chǎn)業(yè)需求來看，5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、人工智能等信息技術(shù)與應用正加速發(fā)展和布局，數(shù)據(jù)量爆增，對數(shù)據(jù)中心的需求不斷增長，預計未來幾年，我國數(shù)據(jù)中心產(chǎn)業(yè)仍繼續(xù)保持高速增長趨勢，加之摩爾定律的減速會進一步推升數(shù)據(jù)中心的增長速度，預測2021年，我國IDC市場業(yè)務收入將達到約1500 億元，到“十四五”末有望超過4000 億元。

3.2 優(yōu)質(zhì)生態(tài)

電信運營商及第三方服務商固有的存量市場疊加新服務商進入產(chǎn)生的增量市場，多方勢力角逐日趨激烈。白熱化的競爭加速數(shù)據(jù)中心優(yōu)質(zhì)化、透明化生態(tài)圈構(gòu)建。各方出于自身優(yōu)勢及特點等多重因素考量，以差異化策略應對激烈競爭。

運營商憑借網(wǎng)絡核心優(yōu)勢加速數(shù)據(jù)中心、網(wǎng)絡融合發(fā)展，布局邊緣節(jié)點，如中國電信發(fā)布“2+4+31+X”的數(shù)據(jù)中心布局模式，充分利用各省靠近用戶的數(shù)據(jù)中心資源建設邊緣數(shù)據(jù)中心，滿足低時延業(yè)務的需求；中國聯(lián)通發(fā)布MEC規(guī)模商用網(wǎng)絡，未來將在全國完成上千個邊緣節(jié)點建設，加速邊緣數(shù)據(jù)中心的建設與落地，支撐5G等關(guān)鍵技術(shù)與應用。

為鞏固服務優(yōu)勢，第三方服務商持續(xù)強化提升運營管理能力及客戶響應能力，2020年萬國數(shù)據(jù)3個數(shù)據(jù)中心獲得“數(shù)據(jù)中心綠色等級評估”最高等級5A級，未來將啟動更多數(shù)據(jù)中心綠色升級計劃，探索可再生能源應用，以進一步優(yōu)化數(shù)據(jù)中心能效，降低運營成本；世紀互聯(lián)除傳統(tǒng)數(shù)據(jù)中心業(yè)務外，在云平臺建設和運營、網(wǎng)絡互聯(lián)互通等方面的業(yè)務和產(chǎn)品日趨多樣化，以滿足客戶各類業(yè)務需求。

3.3 技術(shù)創(chuàng)新

隨著新一代信息技術(shù)的高速發(fā)展，數(shù)據(jù)中心作為計算、存儲、傳輸海量數(shù)據(jù)的實體，逐漸轉(zhuǎn)變?yōu)閺碗s性的聚集地，變成資源密集型、資本密集型、技術(shù)密集型產(chǎn)業(yè)。數(shù)據(jù)中心掙脫了傳統(tǒng)機房模式的桎梏，技術(shù)創(chuàng)新潮正在加速到來，從而轉(zhuǎn)變?yōu)榧夹g(shù)的輸出方。

從科技的角度看，云計算等上層技術(shù)對數(shù)據(jù)中心的IT設備、網(wǎng)絡等提出了更高要求，天蝎整機柜服務器、OTII邊緣服務器、無損網(wǎng)絡、智能網(wǎng)卡、可編程網(wǎng)絡等應運而生，成為技術(shù)的新熱點、研發(fā)的新方向。

從基建的角度看，數(shù)據(jù)中心是“風、火、水、電”的配套設施，ICT設備的演進與創(chuàng)新，倒逼基礎(chǔ)設施加速變革，液冷、巴拿馬電源、預制化等新技術(shù)、新產(chǎn)品已部分應用于大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)中心。

數(shù)據(jù)中心正在從拿來主義的技術(shù)輸入方，向新技術(shù)、新生態(tài)發(fā)展，未來必將成為下一波技術(shù)創(chuàng)新的制高點，全面體現(xiàn)新基建的科技內(nèi)涵，更好地支撐上層應用發(fā)展，夯實數(shù)字經(jīng)濟之基。

3.4 低耗高效

隨著國家對碳達峰和碳中和的要求，作為能耗大戶的數(shù)據(jù)中心有著非常重要的責任，低碳高效成為數(shù)據(jù)中心發(fā)展的重要方向。

(1)新技術(shù)的使用將使數(shù)據(jù)中心的能源使用效率越來越高。隨著間接蒸發(fā)冷卻、液冷等新技術(shù)的成熟和部署，數(shù)據(jù)中心PUE越來越低[15]。阿里巴巴仁和項目以接近1的PUE值獲評數(shù)據(jù)中心綠色等級AAAAA，以實踐說明了數(shù)據(jù)中心高效能發(fā)展趨勢[16]。

(2)除了基礎(chǔ)設施之外，智能監(jiān)控與管理對數(shù)據(jù)中心的高效能運營也非常重要。數(shù)據(jù)中心的設備數(shù)量大、種類多，對應的監(jiān)控系統(tǒng)也是五花八門，如果缺乏集中式統(tǒng)一的管理將會導致運維任務繁重，且無法保證數(shù)據(jù)中心的可靠運營。同時，不斷上漲的能源成本和計算需求給數(shù)據(jù)中心的運營帶來了巨大的壓力，如何提升數(shù)據(jù)中心的運營效率、減少數(shù)據(jù)中心的運營成本都是目前急需解決的問題[17]。云計算等新技術(shù)將數(shù)據(jù)中心資源池化，大幅度提高服務器使用率。

報告顯示，美國實施的數(shù)據(jù)中心優(yōu)化計劃(Data Center Optimization Initiative，DCOI)效果顯著，2019財年共關(guān)閉數(shù)據(jù)中心102個，計劃關(guān)閉184 個，節(jié)省2.415 億美元[18]。

3.5 邊云協(xié)同

4G豐富了移動互聯(lián)網(wǎng)的應用，短視頻、高清電視、在線教育、電子商務等業(yè)務發(fā)展迅速，這也給云數(shù)據(jù)中心帶來了巨大的流量。5G將給邊緣計算帶來發(fā)展機遇，“大約10%的企業(yè)生成的數(shù)據(jù)是在傳統(tǒng)的集中式數(shù)據(jù)中心或云之外創(chuàng)建和處理的”，Gartner預測，“到2025年，這一數(shù)字將達到75%”[19]。邊緣計算由于它的分布式、高密度、低時延和安全性[20]將會給5G帶來巨大的支撐，未來5G+邊緣的市場空間充滿想象。

對于云數(shù)據(jù)中心來說，基礎(chǔ)設施的技術(shù)和產(chǎn)品都已經(jīng)相對成熟。從供配電到散熱，再到服務器，無論是傳統(tǒng)的部署還是模塊化部署，都已經(jīng)優(yōu)化到了很高的程度。對于邊緣數(shù)據(jù)中心而言，是否采用與云數(shù)據(jù)中心同樣的技術(shù)路線還有待商榷[21]。邊緣數(shù)據(jù)中心的建設、運維應有其獨有的特點。未來，“邊緣+云端”將是數(shù)據(jù)中心布局的必然趨勢。

3.6 數(shù)網(wǎng)協(xié)同

工業(yè)和信息化部數(shù)據(jù)顯示[22]，目前54%的數(shù)據(jù)中心為直接接入骨干網(wǎng)，34%的數(shù)據(jù)中心接入城域網(wǎng)。從實際測試結(jié)果來看，以重慶為源點，去往上海僅為15 ms，去往北京為33 ms，去往深圳為18 ms，這跟重慶到北京/上海/深圳的距離不成正比。從各地的數(shù)據(jù)中心數(shù)量、上架率和網(wǎng)絡情況來看，在現(xiàn)有的網(wǎng)絡條件下，數(shù)網(wǎng)協(xié)同還無法支撐全國數(shù)據(jù)中心的布局優(yōu)化，亟待破局[23]。

據(jù)思科2020年預測[24]，未來5年，全球數(shù)據(jù)中心IP流量將會擴大3倍。要實現(xiàn)“東數(shù)西算”等美好愿景，網(wǎng)絡將會承擔非常重要的作用。大量的數(shù)據(jù)將會被從東部傳輸?shù)轿鞑浚@需要極大的網(wǎng)絡帶寬和更少的網(wǎng)絡跳轉(zhuǎn)才能保證數(shù)據(jù)的傳送質(zhì)量。在IDC內(nèi)部，SDN/NFV已經(jīng)傳輸了23%的流量，2021年這個數(shù)字會達到44%。SDN調(diào)度廣域網(wǎng)將會對優(yōu)化廣域網(wǎng)鏈路利用率、保障網(wǎng)絡質(zhì)量起到關(guān)鍵的作用。部署SDN之后，將具備網(wǎng)絡需求和網(wǎng)絡組織的全局視圖，可對所有流量計算出最佳路徑，確定數(shù)據(jù)包的網(wǎng)絡行為，從而減少保護性帶寬的需要，少量的資源即可獲得更高的網(wǎng)絡質(zhì)量，網(wǎng)絡利用率可由低于30%提升并穩(wěn)定在70%以上[25]。

3.7 人才培訓

隨著數(shù)據(jù)中心產(chǎn)業(yè)需求的高速增長，大量新建的數(shù)據(jù)中心投產(chǎn)，對數(shù)據(jù)中心運維人員的數(shù)量需求激增。另一方面，數(shù)據(jù)中心單體規(guī)模擴大，新技術(shù)層出不窮，對數(shù)據(jù)中心運維人員的知識水平、技術(shù)能力要求也不斷提高，數(shù)據(jù)中心運維人才短缺成為突出問題，西部地區(qū)數(shù)據(jù)中心初級運維工程師供應不足，東部地區(qū)高水平運維人員招聘較難。

數(shù)據(jù)中心作為新興產(chǎn)業(yè)，涉及學科、領(lǐng)域較多，尚無高校專業(yè)化的培養(yǎng)，僅有第三方機構(gòu)和平臺，探索數(shù)據(jù)中心運維人才培養(yǎng)新模式，如中國信息通信研究院聯(lián)合企業(yè)、政府、高校等部門，采用理論+實操模式，通過定制化培訓、專向培訓向數(shù)據(jù)中心企業(yè)輸送優(yōu)質(zhì)人才，在中衛(wèi)等地已取得明顯成效，支撐當?shù)財?shù)據(jù)中心運維服務水平不斷提高。未來第三方的人才培養(yǎng)培訓，將成為緩解數(shù)據(jù)中心運維人才的有效途徑。

3.8 AI賦能

AI應用需要大量的GPU加速計算實現(xiàn)。同時，AI又可以反哺數(shù)據(jù)中心的統(tǒng)籌管理，支撐數(shù)據(jù)中心的運維和故障預測等。在數(shù)據(jù)中心基礎(chǔ)設施層面，通過采集和分析監(jiān)測點的溫濕度和空氣流動模型，自動調(diào)節(jié)制冷設備和配電設備的輸出以使能源獲得更高效的利用。通過基于AI的數(shù)據(jù)分析和挖掘可以提前預測服務器、交換機以及SSD故障，減少數(shù)據(jù)中心的宕機風險。AI還可以對數(shù)據(jù)中心進行自動化運維，實現(xiàn)無人值守，提升數(shù)據(jù)中心的安全等級。早在2016年，Google就將DeepMind的機器學習應用到數(shù)據(jù)中心中，成功地將用于冷卻的能量減少了40%[26]。AI在數(shù)據(jù)中心的各個方面顯示出了巨大的潛力。未來，AI將通過主動幫助災難恢復來主導數(shù)據(jù)中心的運維服務。因此，數(shù)據(jù)中心和第三方服務商必須利用AI來跟上新興的技術(shù)趨勢并獲得競爭優(yōu)勢。

4 結(jié)束語

2010—2020年，是我國數(shù)據(jù)中心產(chǎn)業(yè)高速發(fā)展的十年。在政府、行業(yè)組織和產(chǎn)業(yè)界共同的努力下，各項成果層出不窮。隨著碳達峰和碳中和的提出，作為能源消耗大戶的數(shù)據(jù)中心的綠色化必然會受到更多的關(guān)注。未來，低耗高效、邊云協(xié)同、數(shù)網(wǎng)協(xié)同及AI賦能等必然成為數(shù)據(jù)中心發(fā)展的重要趨勢，需要業(yè)界作更多的努力和探索，共同推動數(shù)據(jù)中心產(chǎn)業(yè)的健康發(fā)展。