我國(guó)數(shù)據(jù)中心布局與建設(shè)中的可靠性分析與建議

張紅艷，閆一新，吳煒，馮冠霖

（工業(yè)和信息化部電子第五研究所，廣東 廣州 511370）

0 引言

數(shù)據(jù)中心作為信息化時(shí)代的關(guān)鍵基礎(chǔ)設(shè)施，為信息數(shù)據(jù)存儲(chǔ)和系統(tǒng)運(yùn)行提供了平臺(tái)支撐，是推進(jìn)新一代信息技術(shù)產(chǎn)業(yè)發(fā)展的關(guān)鍵資源。數(shù)據(jù)流量的爆發(fā)式增長(zhǎng)也使我國(guó)社會(huì)的數(shù)據(jù)中心需求持續(xù)提升。然而，近年來(lái)我國(guó)數(shù)據(jù)中心宕機(jī)事故頻發(fā)，造成了嚴(yán)重的經(jīng)濟(jì)損失。在此背景下，數(shù)據(jù)中心的高可靠性逐漸成為人們關(guān)注的問題，對(duì)于數(shù)據(jù)中心布局與建設(shè)中的可靠性分析也顯得尤為重要。

1 我國(guó)數(shù)據(jù)中心發(fā)展概況和可靠性簡(jiǎn)介

1.1 數(shù)據(jù)中心是信息化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施

數(shù)據(jù)中心是傳遞、加速、展示、計(jì)算和存儲(chǔ)數(shù)據(jù)信息的特定設(shè)備網(wǎng)絡(luò)，簡(jiǎn)單來(lái)說就是專業(yè)級(jí)機(jī)房，其組成可分為場(chǎng)地層、設(shè)施層、IT硬件和IT軟件，如表1所示。按照服務(wù)對(duì)象的不同，數(shù)據(jù)中心可以分為企業(yè)數(shù)據(jù)中心和互聯(lián)網(wǎng)數(shù)據(jù)中心。在云計(jì)算、5G、人工智能、大數(shù)據(jù)、區(qū)塊鏈和物聯(lián)網(wǎng)等信息技術(shù)飛速發(fā)展的背景下，數(shù)據(jù)中心作為科技創(chuàng)新和技術(shù)應(yīng)用的實(shí)體，大大地激發(fā)了數(shù)據(jù)要素的潛能，為我國(guó)數(shù)字經(jīng)濟(jì)的發(fā)展提供了有力的支撐。2020年3月，中央政治局常委會(huì)提出應(yīng)加快數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度，這為數(shù)據(jù)中心的發(fā)展帶來(lái)了新契機(jī)。隨著云計(jì)算、邊緣計(jì)算和超算的推進(jìn)，邊緣數(shù)據(jù)中心[1]、云數(shù)據(jù)中心[2]和超算數(shù)據(jù)中心[3]進(jìn)入高速發(fā)展期，成為數(shù)據(jù)中心形態(tài)發(fā)展的新趨勢(shì)。

表1 數(shù)據(jù)中心的4層架構(gòu)

1.2 我國(guó)數(shù)據(jù)中心市場(chǎng)規(guī)模和發(fā)展空間巨大

信通院數(shù)據(jù)顯示，2019年我國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心 （IDC：Internet Data Center）業(yè)務(wù)的總體營(yíng)收為1 132.4億元，預(yù)計(jì)國(guó)內(nèi)IDC市場(chǎng)規(guī)模在2020年將達(dá)到1 494.2億元，同比增長(zhǎng)30%以上，遠(yuǎn)高于全球平均增速。目前，互聯(lián)網(wǎng)、云計(jì)算的高速發(fā)展是我國(guó)數(shù)據(jù)中心市場(chǎng)規(guī)模持續(xù)增長(zhǎng)的核心驅(qū)動(dòng)力，例如：在新冠疫情期間，基于云計(jì)算的遠(yuǎn)程教育、遠(yuǎn)程辦公等產(chǎn)生了大量的用戶需求。大量資本涌入數(shù)據(jù)中心的建設(shè)和運(yùn)營(yíng)市場(chǎng)，例如：中信建投、紅杉資本、DCP德勤和中移集團(tuán)等，極大地助推了數(shù)據(jù)中心投資建設(shè)熱潮，大量的大型數(shù)據(jù)中心投入建設(shè)。據(jù)預(yù)測(cè)，我國(guó)在2025年將以48.6 ZB的數(shù)據(jù)量成為全球最大的數(shù)據(jù)圈，數(shù)據(jù)流量的爆發(fā)式增長(zhǎng)使我國(guó)社會(huì)的數(shù)據(jù)中心需求持續(xù)地提升。

圖1 2012-2020年我國(guó)數(shù)據(jù)中心市場(chǎng)規(guī)模變化

1.3 我國(guó)數(shù)據(jù)中心分布呈東部多于中西部的格局

數(shù)據(jù)中心的數(shù)量與當(dāng)?shù)亟?jīng)濟(jì)發(fā)展情況密切相關(guān)，我國(guó)大部分互聯(lián)網(wǎng)公司分布在一線城市，有較多時(shí)效性高的“熱數(shù)據(jù)”需要處理，因此我國(guó)數(shù)據(jù)中心主要集中在北上廣及周邊地區(qū)，而中西部地區(qū)的數(shù)據(jù)中心建設(shè)需求主要面向時(shí)效性不高的“冷數(shù)據(jù)”。目前，京津冀、長(zhǎng)三角和大灣區(qū)占據(jù)了整體市場(chǎng)50%以上的份額，2019年我國(guó)大型數(shù)據(jù)中心按各省市占比來(lái)看，廣東、上海和北京分別達(dá)到21%、13%和10%。但北京、上海和深圳等一線城市近期陸續(xù)出臺(tái)數(shù)據(jù)中心能耗指標(biāo)管控政策，對(duì)新建數(shù)據(jù)中心投產(chǎn)規(guī)模形成制約。

1.4 數(shù)據(jù)中心的可靠性要求

數(shù)據(jù)中心承載著各個(gè)行業(yè)基礎(chǔ)服務(wù)的底層保障，通常要求業(yè)務(wù)無(wú)中斷，確保沒有故障發(fā)生，一旦出現(xiàn)故障將會(huì)給數(shù)據(jù)中心的業(yè)務(wù)帶來(lái)嚴(yán)重的損失。由此可見，數(shù)據(jù)中心運(yùn)行的高可靠性至關(guān)重要?？煽啃允侵府a(chǎn)品在規(guī)定的條件和時(shí)間內(nèi)，完成規(guī)定功能的能力。產(chǎn)品兩次相鄰故障間的平均工作時(shí)間被稱為平均故障間隔時(shí)間（MTBF），MTBF是衡量產(chǎn)品可靠性的關(guān)鍵指標(biāo)。

1.4.1 我國(guó)數(shù)據(jù)中心可靠性等級(jí)劃分

數(shù)據(jù)中心業(yè)務(wù)的飛速發(fā)展對(duì)其可靠性提出了越來(lái)越高的要求，特別是服務(wù)器、供電系統(tǒng)[4]和網(wǎng)絡(luò)架構(gòu)等關(guān)鍵環(huán)節(jié)的可靠性，因此現(xiàn)有的數(shù)據(jù)中心都不斷努力提高可靠性水平，追求高可靠性等級(jí)認(rèn)證。我國(guó)國(guó)家標(biāo)準(zhǔn)GB 50174-2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》[5]根據(jù)數(shù)據(jù)中心的使用性質(zhì)、數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷在經(jīng)濟(jì)或社會(huì)上造成的損失或影響程度確定了A、B、C 3個(gè)級(jí)別，其中，電子信息系統(tǒng)運(yùn)行中斷將造成重大的經(jīng)濟(jì)損失或公共場(chǎng)所秩序嚴(yán)重混亂的數(shù)據(jù)中心為A級(jí)；電子信息系統(tǒng)運(yùn)行中斷將造成較大的經(jīng)濟(jì)損失或公共場(chǎng)所秩序混亂的數(shù)據(jù)中心為B級(jí)；不屬于A級(jí)或B級(jí)的數(shù)據(jù)中心為C級(jí)。

1.4.2 相關(guān)國(guó)際標(biāo)準(zhǔn)

在國(guó)際上，全球公認(rèn)的數(shù)據(jù)中心標(biāo)準(zhǔn)組織和第三方認(rèn)證機(jī)構(gòu)Uptime Institute的主要標(biāo)準(zhǔn)“Data Center Site Infrastructure Tier Standard：Topology”

和 “Data Center Site Infrastructure Tier Standard：Operational Sustainability”是數(shù)據(jù)中心基礎(chǔ)設(shè)施可用性、可靠性及運(yùn)維管理服務(wù)能力認(rèn)證的重要標(biāo)準(zhǔn)依據(jù)。Uptime TIER等級(jí)認(rèn)證基于以上兩個(gè)標(biāo)準(zhǔn)，是數(shù)據(jù)中心業(yè)界最知名、權(quán)威的認(rèn)證。Uptime TIER數(shù)據(jù)中心等級(jí)認(rèn)證體系分為Tier I—Tier IV 4個(gè)等級(jí)，其中Tier IV最高，如表2所示。

從表2中可以看出，最低級(jí)的Tier I允許平均每年有28.8 h的故障時(shí)間，而最高等級(jí)的Tier IV只允許平均每年48 min故障時(shí)間。

表2 Uptime TIER等級(jí)分類

1.4.3 數(shù)據(jù)中心可靠性等級(jí)的設(shè)定

在數(shù)據(jù)中心的級(jí)別設(shè)定時(shí)，隨著級(jí)別的上升造價(jià)也會(huì)隨之增加，因此通常在造價(jià)和業(yè)務(wù)要求之間找到平衡點(diǎn)。以金融行業(yè)的數(shù)據(jù)中心為例，瞬時(shí)的中斷也會(huì)導(dǎo)致不可估量的經(jīng)濟(jì)損失，因此銀行業(yè)的數(shù)據(jù)中心一般設(shè)定為A級(jí)并參照TierⅢ或TierⅣ設(shè)計(jì)。

注：在本文第三部分中，數(shù)據(jù)中心建設(shè)的可靠性與1.4中定義的可靠性相一致。而第二部分?jǐn)?shù)據(jù)中心布局的可靠性與1.4中定義的可靠性略有不同，前者更多地是指數(shù)據(jù)中心的安全性、連續(xù)服務(wù)能力和整體災(zāi)備能力。

2 我國(guó)數(shù)據(jù)中心布局中的可靠性問題分析與建議

2.1 我國(guó)數(shù)據(jù)中心布局中的現(xiàn)狀分析

2.1.1 宏觀層面

2013年工業(yè)和信息化部、國(guó)家發(fā)展改革委、國(guó)土資源部、國(guó)家電力監(jiān)管委員會(huì)和國(guó)家能源局聯(lián)合發(fā)布了《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》，指出數(shù)據(jù)中心的建設(shè)和布局應(yīng)以科學(xué)發(fā)展為主題，引導(dǎo)市場(chǎng)主體合理選址、長(zhǎng)遠(yuǎn)規(guī)劃、按需設(shè)計(jì)、按標(biāo)建設(shè)，逐漸地形成技術(shù)先進(jìn)、結(jié)構(gòu)合理、協(xié)調(diào)發(fā)展的數(shù)據(jù)中心新格局。

整體來(lái)看，我國(guó)數(shù)據(jù)中心正逐漸地形成京津冀、長(zhǎng)三角和珠三角等核心區(qū)域協(xié)調(diào)聯(lián)動(dòng)，內(nèi)蒙古、貴州等中西部地區(qū)快速發(fā)展協(xié)同補(bǔ)充的全面發(fā)展格局。但當(dāng)前，我國(guó)不同地區(qū)的數(shù)據(jù)中心仍存在供求不平衡的現(xiàn)象。一線城市的數(shù)據(jù)中心處于相對(duì)飽和狀態(tài)，上架率在70%以上，售賣率在85%以上，由于一線城市的互聯(lián)網(wǎng)企業(yè)、金融企業(yè)和政府等客戶的需求量較大，目前仍存在“供不應(yīng)求”的現(xiàn)象，上海市2019年的數(shù)據(jù)中心機(jī)架需求規(guī)模超過41萬(wàn)架，而在用數(shù)量?jī)H有38.4萬(wàn)架。一線城市指標(biāo)受限且綜合成本較高，一些互聯(lián)網(wǎng)企業(yè)積極布局其他地域，例如：京東將數(shù)據(jù)中心選址在宿遷，阿里布局張北、廣東河源等地。相反，二線城市的數(shù)據(jù)中心由于骨干網(wǎng)等基礎(chǔ)設(shè)施、交通和建設(shè)運(yùn)維人才等因素的欠缺，需求未能很好地激發(fā)，存在“供過于求”的現(xiàn)象，西部地區(qū)的數(shù)據(jù)中心空置率普遍高于50%。

2.1.2 微觀層面

數(shù)據(jù)中心的合理布局對(duì)于其可靠性的提升至關(guān)重要，例如：商業(yè)銀行信息系統(tǒng)對(duì)于可靠性、連續(xù)性和災(zāi)難恢復(fù)能力要求極高，數(shù)據(jù)中心是一項(xiàng)影響信息系統(tǒng)可靠性的關(guān)鍵因素，合理的布局能夠有效地提高商業(yè)銀行信息系統(tǒng)的可靠性。隨著數(shù)據(jù)中心的出現(xiàn)，商業(yè)銀行的系統(tǒng)應(yīng)用從全國(guó)各地集中到了北京、上海等核心城市進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)了從上而下的標(biāo)準(zhǔn)化統(tǒng)一，提高了總部的管控能力和信息化水平。數(shù)據(jù)的集中化管理也暗藏著巨大的風(fēng)險(xiǎn)，若公司總部的數(shù)據(jù)中心出現(xiàn)問題，將會(huì)嚴(yán)重地影響其業(yè)務(wù)運(yùn)轉(zhuǎn)，2015年5月，杭州市蕭山區(qū)某光纜被市政施工隊(duì)挖斷，導(dǎo)致支付寶一個(gè)主要的機(jī)房受到影響，隨后全國(guó)部分用戶約2 h無(wú)法使用支付寶。為了降低信息系統(tǒng)服務(wù)異常導(dǎo)致的業(yè)務(wù)中斷風(fēng)險(xiǎn)，銀監(jiān)會(huì)對(duì)各個(gè)商業(yè)銀行的可靠性管理提出了監(jiān)管要求，明確商業(yè)銀行應(yīng)建立多個(gè)數(shù)據(jù)中心并將業(yè)務(wù)部署在其中，從而提高信息系統(tǒng)對(duì)災(zāi)難的抵御和恢復(fù)能力。

2.2 關(guān)于我國(guó)數(shù)據(jù)中心布局的可靠性提升建議

從宏觀層面來(lái)看，數(shù)據(jù)中心的建設(shè)不能一哄而上、盲目跟風(fēng)，應(yīng)當(dāng)科學(xué)規(guī)劃，統(tǒng)籌全局，重視前期調(diào)研和可行性分析，綜合評(píng)估建設(shè)成本、運(yùn)營(yíng)成本和用戶規(guī)模等因素，建設(shè)具有高可靠性等級(jí)認(rèn)證的數(shù)據(jù)中心。同時(shí)，數(shù)據(jù)中心的布局和建設(shè)也可以考慮與其他產(chǎn)業(yè)融合發(fā)展，例如：寶武集團(tuán)將其軟件業(yè)務(wù)剝離，成立寶信軟件，后者現(xiàn)在已成為知名IDC服務(wù)商。再如：阿里巴巴的千島湖數(shù)據(jù)中心采用湖水自然冷技術(shù)，將工業(yè)和景觀用水與數(shù)據(jù)中心冷卻用水結(jié)合，在不污染環(huán)境的前提下實(shí)現(xiàn)資源的最大利用，在真正意義上實(shí)現(xiàn)了科技、自然與城市的完美結(jié)合，加上千島湖天然的優(yōu)美景色，由此被稱為“最美數(shù)據(jù)中心”。

從微觀層面來(lái)看，數(shù)據(jù)中心從區(qū)域分布上可分為同城和異地，從數(shù)量上可分為雙中心、三中心和多中心，大型企業(yè)自建的數(shù)據(jù)中心應(yīng)當(dāng)綜合地考慮信息系統(tǒng)災(zāi)難恢復(fù)等級(jí)、業(yè)務(wù)部署方式和管控模式等因素，形成適合實(shí)際需求的整體布局規(guī)劃，從而提高其可靠性，為信息系統(tǒng)的穩(wěn)定運(yùn)行提供可靠的場(chǎng)所和災(zāi)難恢復(fù)的能力。一個(gè)典型的案例是在2020年的雙11期間，阿里巴巴集團(tuán)副總裁、基礎(chǔ)設(shè)施事業(yè)群負(fù)責(zé)人表示，阿里云有五大超級(jí)數(shù)據(jù)中心支持雙11的交易高峰，包括南通數(shù)據(jù)中心、杭州數(shù)據(jù)中心、烏蘭察布數(shù)據(jù)中心、張北數(shù)據(jù)中心和河源數(shù)據(jù)中心，阿里數(shù)據(jù)中心的整體架構(gòu)從集中式轉(zhuǎn)為分布式，在出現(xiàn)故障后可以實(shí)現(xiàn)1 min發(fā)現(xiàn)、1 min定位、1 min恢復(fù)，大大地提高了其數(shù)據(jù)中心的可靠性。

3 我國(guó)數(shù)據(jù)中心建設(shè)中的可靠性問題分析與建議

3.1 我國(guó)數(shù)據(jù)中心建設(shè)的現(xiàn)狀分析

近年來(lái)，我國(guó)數(shù)據(jù)中心宕機(jī)事故頻發(fā)，2014年7月20日重慶農(nóng)商行數(shù)據(jù)中心發(fā)生重大火災(zāi)，整個(gè)機(jī)房全部燒毀，直接損失一個(gè)億以上；2017年4月，擁有“信息黃埔”之稱的北京郵電大學(xué)校園核心機(jī)房著火受損，眾多北京高校校園網(wǎng)紛紛崩潰；2018年6月，北京亦莊某數(shù)據(jù)中心機(jī)房柴油機(jī)發(fā)生起火事故，原因是變電站改造期間限電25%，部分?jǐn)?shù)據(jù)中心使用柴油發(fā)電機(jī)發(fā)電。

全球知名的數(shù)據(jù)中心標(biāo)準(zhǔn)組織Uptime Institute在2018年的調(diào)查表明，近年來(lái)數(shù)據(jù)中心提高了能源利用效率，實(shí)現(xiàn)了PUE值的降低，但因此犧牲了可靠性，近1/3的數(shù)據(jù)中心在過去的一年中出現(xiàn)了停電，而這一數(shù)據(jù)在2017年為25%。導(dǎo)致停機(jī)的三大原因是斷電（33%）、網(wǎng)絡(luò)故障（30%）和IT或軟件錯(cuò)誤（28%）。

面對(duì)數(shù)據(jù)中心的宕機(jī)事件，基礎(chǔ)設(shè)施的冗余備份機(jī)制是實(shí)現(xiàn)數(shù)據(jù)中心高可靠性的基礎(chǔ)。對(duì)于數(shù)據(jù)中心來(lái)說，冗余備份機(jī)制涉及的范圍很廣，從數(shù)據(jù)中心的外部來(lái)看，有傳輸鏈路的雙路由、供電線路的雙路由；從數(shù)據(jù)中心的內(nèi)部來(lái)看，有網(wǎng)絡(luò)架構(gòu)的雙路由、服務(wù)器的雙機(jī)熱備等。一些企業(yè)甚至備份了整個(gè)數(shù)據(jù)中心，主數(shù)據(jù)中心與輔助數(shù)據(jù)中心之間存在物理隔離，在兩個(gè)或多個(gè)數(shù)據(jù)中心復(fù)制工作負(fù)載和數(shù)據(jù)，為企業(yè)的數(shù)據(jù)中心使用提供了更高的可靠性。

值得一提的是，近年來(lái)虛擬化技術(shù)的興起大大地提高了設(shè)備、系統(tǒng)和網(wǎng)絡(luò)的可靠性。大規(guī)模的設(shè)備虛擬化建立了資源池，模糊了IT設(shè)備之間物理鏈路的概念，從而在設(shè)備異常或鏈路節(jié)點(diǎn)阻斷的情況下，不影響整個(gè)系統(tǒng)的運(yùn)行。

從發(fā)展趨勢(shì)來(lái)看，我國(guó)數(shù)據(jù)中心建設(shè)正經(jīng)歷數(shù)字化和模塊化轉(zhuǎn)型。數(shù)據(jù)中心的建設(shè)包括規(guī)劃設(shè)計(jì)、建造施工、運(yùn)營(yíng)維護(hù)和改造擴(kuò)建等。隨著建筑信息模型（BIM）和計(jì)算流體動(dòng)力學(xué)（CFD）的發(fā)展，數(shù)字化模擬已經(jīng)成為數(shù)據(jù)中心建設(shè)乃至全生命周期中的標(biāo)配，大大地降低了試錯(cuò)成本，提高了數(shù)據(jù)中心多環(huán)節(jié)的協(xié)同度。傳統(tǒng)數(shù)據(jù)中心漫長(zhǎng)的建設(shè)周期和業(yè)務(wù)上線時(shí)間無(wú)法滿足企業(yè)的基本要求，模塊是集成了供配電、制冷和機(jī)柜等功能的獨(dú)立運(yùn)行單元，數(shù)據(jù)中心的模塊化可以實(shí)現(xiàn)快速部署、分期建設(shè)和動(dòng)態(tài)調(diào)整，完成了數(shù)據(jù)中心建設(shè)從工地到工廠的轉(zhuǎn)移。模塊化設(shè)計(jì)提高了數(shù)據(jù)中心的安全性、可靠性，也使得數(shù)據(jù)中心的建設(shè)可以在建筑層面復(fù)制，前期階段是提高建設(shè)效率，后期則是提高建設(shè)速率，節(jié)省運(yùn)維費(fèi)用[6]。

3.2 關(guān)于我國(guó)數(shù)據(jù)中心建設(shè)的可靠性提升建議

面對(duì)頻發(fā)的數(shù)據(jù)中心宕機(jī)事故，應(yīng)當(dāng)從數(shù)據(jù)中心的建設(shè)層面做好基礎(chǔ)設(shè)施容量規(guī)劃，保留必要的冗余，確保數(shù)據(jù)中心的高可靠性，同時(shí)避免空間資源的浪費(fèi)。同時(shí)應(yīng)當(dāng)加強(qiáng)數(shù)據(jù)中心建設(shè)過程中的可靠性提升技術(shù)攻關(guān)，總結(jié)提煉數(shù)據(jù)中心的可靠性提升整體解決方案，開展應(yīng)用推廣，形成具備推廣價(jià)值的數(shù)據(jù)中心建設(shè)典型案例，打造標(biāo)桿，最終推動(dòng)數(shù)據(jù)中心的可靠性提升。

此外，目前我國(guó)數(shù)據(jù)中心建設(shè)與驗(yàn)收體系還不夠完善，應(yīng)當(dāng)針對(duì)新建、在用數(shù)據(jù)中心的規(guī)劃建設(shè)、等級(jí)評(píng)定和風(fēng)險(xiǎn)評(píng)估等不同的需求，借助專業(yè)機(jī)構(gòu)和平臺(tái)，在國(guó)內(nèi)數(shù)據(jù)中心建設(shè)過程中推廣數(shù)字化模擬和模塊化建設(shè)，并提供咨詢培訓(xùn)、驗(yàn)證測(cè)試、運(yùn)維評(píng)估和軟件測(cè)評(píng)等全生命周期的第三方技術(shù)保障和服務(wù)，提升數(shù)據(jù)中心全生命周期運(yùn)營(yíng)的可靠性。

4 結(jié)束語(yǔ)

本文介紹了我國(guó)數(shù)據(jù)中心的發(fā)展概況與可靠性要求，分別從我國(guó)數(shù)據(jù)中心的布局與建設(shè)兩方面進(jìn)行了可靠性問題分析，并提出了可靠性提升的建議，對(duì)于今后我國(guó)數(shù)據(jù)中心的合理建設(shè)與布局有一定的參考意義。