數(shù)據(jù)中心基礎(chǔ)設(shè)施運維風(fēng)險管理技術(shù)

毛文杰

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司上海市分公司，上海 200050）

數(shù)據(jù)中心基礎(chǔ)設(shè)施運維風(fēng)險管理技術(shù)

毛文杰

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司上海市分公司，上海 200050）

本文對數(shù)據(jù)中心故障高發(fā)的基礎(chǔ)設(shè)施運維進(jìn)行分析總結(jié)，引入風(fēng)險管理相關(guān)理論與方法，通過對基礎(chǔ)設(shè)施進(jìn)行風(fēng)險識別、風(fēng)險評估與風(fēng)險應(yīng)對，持續(xù)循環(huán)提高運維質(zhì)量與技術(shù)，不斷排除故障安全隱患，以降低事故發(fā)生的概率。

數(shù)據(jù)中心；風(fēng)險識別；風(fēng)險評估；風(fēng)險應(yīng)對；運營風(fēng)險庫

數(shù)據(jù)中心由于客戶很多來自金融、政府、BAT等行業(yè)，其對數(shù)據(jù)中心安全可靠性要求非常高，這就對運維工作提出了更高的要求。本文引入項目管理（PM）中風(fēng)險管理相關(guān)理論與技術(shù)工具，加入到日常實際運維工作中以提高數(shù)據(jù)中心風(fēng)險識別能力，提前“排雷”規(guī)避風(fēng)險，降低故障發(fā)生的概率，提高風(fēng)險應(yīng)對能力。同時引入質(zhì)量控制（QC）中PDCA相關(guān)技術(shù)方法，以確保運維質(zhì)量的持續(xù)改進(jìn)與高效可靠。

1 數(shù)據(jù)中心基礎(chǔ)設(shè)施運維管理現(xiàn)狀

數(shù)據(jù)中心基礎(chǔ)涉及供配電、空調(diào)、消防、安防、防雷接地、弱電監(jiān)控等子系統(tǒng)，各系統(tǒng)之間相互關(guān)聯(lián)、相互影響，對于這樣一個復(fù)雜系統(tǒng)的運維管理，是一個多目標(biāo)優(yōu)化的決策過程，只有確保各系統(tǒng)整體最優(yōu)，才能使得數(shù)據(jù)中心實現(xiàn)高可靠性。目前對于數(shù)據(jù)中心基礎(chǔ)設(shè)施運維管理正在引入風(fēng)險管理相關(guān)理論與技術(shù)工具進(jìn)行定性分析，主要包括：根據(jù)已經(jīng)制定完成的基礎(chǔ)設(shè)施高危設(shè)備巡檢清單與相關(guān)運維工具對各機房按季度開張一次類似“體檢”的巡檢，將現(xiàn)場采集來的設(shè)備運行數(shù)據(jù)及故障記錄進(jìn)行容量管理等分析研究，以確定哪些設(shè)備存在“生病”的征兆，即使聯(lián)系設(shè)備廠家進(jìn)行更換與保養(yǎng)；同時將現(xiàn)場隱患排查出來的風(fēng)險按其嚴(yán)重性進(jìn)行優(yōu)先級分類，形成風(fēng)險登記冊，制定整改方案與計劃及時進(jìn)行閉環(huán)處理，以提高通信網(wǎng)絡(luò)的安全可靠性。

根據(jù)已制定數(shù)據(jù)中心基礎(chǔ)設(shè)施健康檢查清單，確定運維關(guān)鍵指標(biāo)，對選定機房進(jìn)行全面體檢。目前數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險形成原因如圖1所示。

2 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理

2.1 基礎(chǔ)設(shè)施風(fēng)險管理定義

根據(jù)高危設(shè)備巡檢清單與設(shè)備安全運行關(guān)鍵性指標(biāo)，采用熱成像儀、萬用表、接地電阻測試儀等儀器儀表，對數(shù)據(jù)中心基礎(chǔ)設(shè)施（風(fēng)、火、水、電）的運行情況：進(jìn)行容量、溫升、設(shè)備保養(yǎng)等方面數(shù)據(jù)進(jìn)行采集與分析，并結(jié)合維護(hù)經(jīng)驗與工程實踐，對數(shù)據(jù)中心高危設(shè)備進(jìn)行風(fēng)險識別與隱患排查，通過對高危設(shè)備系統(tǒng)性“體檢”及指標(biāo)分析，以提高數(shù)據(jù)中心的“免疫力”，降低事故發(fā)生的概率。

圖1 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險因果分析圖

2.2 開展數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理意義

量化運維指標(biāo)，提升巡檢深度，提高設(shè)備安全運行可靠性；及時發(fā)現(xiàn)安全隱患，降低故障發(fā)生概率；提高竣工驗收成效，減少前期工程的缺陷對后期運維安全的影響；加強外包運維團(tuán)隊的監(jiān)督與管理，提高外包團(tuán)隊的運維能力與維護(hù)力度；形成數(shù)據(jù)中心運維規(guī)范標(biāo)準(zhǔn)的統(tǒng)一與模式化，為客戶提供標(biāo)準(zhǔn)化運維服務(wù)，提高客戶滿意度；利用統(tǒng)一的巡檢清單與運維指標(biāo)，提升運維水平與部署能力。

2.3 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理方法

數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險識別方法：高危設(shè)備巡檢清單；數(shù)據(jù)中心運維指標(biāo)；數(shù)據(jù)中心相關(guān)規(guī)范與標(biāo)準(zhǔn)；熱成像對設(shè)備及線纜進(jìn)行溫升檢測；萬用表進(jìn)行電源質(zhì)量測試。

數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險評估方法：風(fēng)險分類：供配電、空調(diào)、安防、消防等；風(fēng)險輕重緩急；制定風(fēng)險登記冊；風(fēng)險形成原因及總結(jié)；制定風(fēng)險應(yīng)對方案及進(jìn)度計劃。

數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險應(yīng)對方法：風(fēng)險規(guī)避：盡早閉環(huán)處理；風(fēng)險預(yù)防：應(yīng)急預(yù)案或應(yīng)急演練；風(fēng)險轉(zhuǎn)移：設(shè)備廠家或合作方承諾。

綜上所述，數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理方法，可以按圖2流程圖所示實施。

圖2 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理流程圖

數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險識別如表1所示。

表1 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險識別表

3 數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險管理應(yīng)用分析

根據(jù)海恩法則：任何不安全事故都是可以預(yù)防的。一件重大事故發(fā)生后，我們在處理事故本身的同時，還要及時對同類問題的“事故征兆與事故苗頭”進(jìn)行排查處理，以此防止類似問題的重復(fù)發(fā)生，及時解決再次發(fā)生重大事故的隱患，把問題解決在萌芽狀態(tài)。所以在數(shù)據(jù)中心運維工作中開展風(fēng)險管理可以有效降低事故發(fā)生的概率與影響面，積累運維經(jīng)驗，提高故障應(yīng)對的能力。

通過應(yīng)用上述風(fēng)險管理方法，對數(shù)據(jù)中心基礎(chǔ)設(shè)施進(jìn)行風(fēng)險管理，形成相關(guān)基礎(chǔ)設(shè)施運營風(fēng)險庫，其主要問題如下。

（1）前期施工遺留問題：市電引入不到位；水系統(tǒng)不具備連續(xù)制冷及在線檢修能力；走線架安裝位置擋住空調(diào)出風(fēng)口；設(shè)備接地線未布放；設(shè)備及線纜未做標(biāo)簽；管道存在漏水、漏油現(xiàn)象，密封性差；冷卻水與冷凍水管道及閥門接反。

（2）設(shè)計考慮不周全：配電柜開關(guān)容量配置過??；空調(diào)配置數(shù)量不足；銅排及電纜過細(xì)，載流量無法滿足應(yīng)急要求；水系統(tǒng)不具有在線檢修能力；電纜走線不合理；空調(diào)設(shè)備布置不合理。

（3）外包團(tuán)隊運維力度不夠：UPS、開關(guān)電源、發(fā)電機及電池表面及其風(fēng)扇積灰嚴(yán)重；電源設(shè)備及相關(guān)電纜標(biāo)簽缺失；各機房走線墻洞未做防火封堵；空調(diào)水系統(tǒng)水質(zhì)污濁，管道腐蝕；門禁系統(tǒng)權(quán)限設(shè)置不正確且有損壞；消防滅火器超過規(guī)定使用年限；油機室存在漏油現(xiàn)象。

（4）外包團(tuán)隊運維水平不足：發(fā)電機啟動電池浮充電壓設(shè)置過低；空調(diào)取電設(shè)置不合理，均設(shè)置市電1路主用；高、低壓配電柜及電池前未配置絕緣墊；動力及暖通設(shè)備現(xiàn)場未布置應(yīng)急預(yù)案（EOP）與標(biāo)準(zhǔn)化操作步驟（SOP）；未定期進(jìn)行蓄電池核對性容量及全容量試驗；未定期進(jìn)行供電系統(tǒng)接地電阻測試。

（5）設(shè)備廠家維保力度不足：設(shè)備廠家對于其設(shè)備故障處理響應(yīng)緩慢；未定期對UPS濾波電容進(jìn)行檢測；未定期對空調(diào)濾網(wǎng)進(jìn)行清洗；設(shè)備廠家對其設(shè)備定期檢測內(nèi)容過于簡單流于形式。

（6） 監(jiān)控系統(tǒng)不完善：監(jiān)控系統(tǒng)無法對設(shè)備進(jìn)行遙測、遙控、遙信；監(jiān)控系統(tǒng)無法滿足自動化運維要求。

根據(jù)各數(shù)據(jù)中心進(jìn)行風(fēng)險管理后，對其基礎(chǔ)設(shè)施子系統(tǒng)風(fēng)險點統(tǒng)計后，如圖3雷達(dá)圖所示。

通過各數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險點雷達(dá)圖分析總結(jié)可得：數(shù)據(jù)中心E、B在供配電系統(tǒng)的風(fēng)險點相對比較多，數(shù)據(jù)中心F、C在空調(diào)系統(tǒng)的風(fēng)險點相對比較多，數(shù)據(jù)中心E在消防系統(tǒng)存在較大的安全隱患。該風(fēng)險點雷達(dá)圖可以對各數(shù)據(jù)中心基礎(chǔ)設(shè)施運營及風(fēng)險隱患情況的進(jìn)行橫向比較，確定哪些機房在哪個子系統(tǒng)運維情況較好，有何優(yōu)點可以借鑒推廣。哪些機房存在問題較多，為什么落后，使我們?nèi)粘＿\維工作能更加精確管理，提高效率，降低運維成本，提升運維能力。

圖3 各數(shù)據(jù)中心基礎(chǔ)設(shè)施風(fēng)險點雷達(dá)圖

同時對數(shù)據(jù)中心基礎(chǔ)設(shè)施運維進(jìn)行風(fēng)險管理：風(fēng)險識別、風(fēng)險評估、建立運營風(fēng)險冊、風(fēng)險規(guī)避可以形成PDCA管理水平提升的4個循環(huán)模式，如圖4所示，使得數(shù)據(jù)中心運維管理質(zhì)量與水平得到持續(xù)優(yōu)化。對風(fēng)險管控效果顯著的運維經(jīng)驗要繼續(xù)堅持落實，對風(fēng)險管控不顯著的運維管理要分析原因，必要時調(diào)整相應(yīng)的管理方法。

圖4 運維能力PDCA循環(huán)階梯式上升過程

4 總結(jié)及后續(xù)工作展望

通過定期對數(shù)據(jù)中心基礎(chǔ)設(shè)施進(jìn)行風(fēng)險管理發(fā)現(xiàn)的問題，匯總整理成運營風(fēng)險庫，由機房經(jīng)理及相關(guān)人員及時跟進(jìn)問題整治進(jìn)度，按期閉環(huán)，逐步減少安全隱患和及時采取預(yù)防性措施，降低事故發(fā)生的概率。當(dāng)然目前運維工作的風(fēng)險管理還是以定性分析為主，對于數(shù)據(jù)中心基礎(chǔ)設(shè)施是個復(fù)雜系統(tǒng)，是一個多目標(biāo)優(yōu)化決策問題，后期將采用層次分析法（AHP）進(jìn)行相關(guān)定量分析研究，以取得更優(yōu)化運維管理模型。

[1] 張家春. 項目計劃與控制[M]. 上海：上海交通大學(xué)出版社，2010.

[2] 朱方偉，宋金波. 項目管理[M]. 北京：清華大學(xué)出版社，2012.

[3] 鐘景華，朱利偉，曹播, 等. 新一代綠色數(shù)據(jù)中心的規(guī)劃與設(shè)計[M]. 北京: 電子工業(yè)出版社，2012.

[4] 楊寶玲，欒志強. 現(xiàn)代項目管理[M]. 北京：中國人民公安大學(xué)出版社，2009.

[5] 項目管理協(xié)會. 項目管理知識體系指南(第4版)[M]. 王勇，張斌, 譯. 北京：電子工業(yè)出版社,2009.

[6] Harold Kerzner. 項目管理計劃、進(jìn)度和控制的系統(tǒng)方法(第7版) [M]. 楊愛華, 等, 譯. 北京：電子工業(yè)出版社, 2002.

[7] 吉多，克萊門斯.成功的項目管理[M]. 張金成, 譯. 北京：機械工業(yè)出版社，2007.

[8] 施瓦爾布. IT項目管理(英文版·第4版)[M]. 北京：機械工業(yè)出版社，2006.

[9] J.M·朱蘭. 質(zhì)量控制手冊[M]. 上海：上海科技文獻(xiàn)出版社，1980.

[10] 佟玉輝. 通信工程設(shè)計質(zhì)量控制研究[D]. 吉林：吉林大學(xué), 2010.

News

國家工業(yè)信息安全產(chǎn)業(yè)發(fā)展聯(lián)盟在京成立

6月8日，國家工業(yè)信息安全產(chǎn)業(yè)發(fā)展聯(lián)盟成立大會在北京舉行，工業(yè)和信息化部部長苗圩、國務(wù)院國有資產(chǎn)監(jiān)督管理委員會副主任徐福順出席大會并作重要講話。工業(yè)和信息化部副部長陳肇雄主持大會。工業(yè)和信息化部、中央網(wǎng)信辦、公安部、國家認(rèn)監(jiān)委等部委相關(guān)司局和行業(yè)單位代表、業(yè)界專家和有關(guān)嘉賓出席會議。

國家工業(yè)信息安全產(chǎn)業(yè)發(fā)展聯(lián)盟接受工業(yè)和信息化部業(yè)務(wù)指導(dǎo)，苗圩擔(dān)任聯(lián)盟指導(dǎo)委員會主任。中國工程院院士鄔賀銓擔(dān)任聯(lián)盟專家咨詢委員會主任，國家工業(yè)信息安全發(fā)展研究中心（工業(yè)和信息化部電子第一研究所）是首屆理事長單位，所長尹麗波擔(dān)任聯(lián)盟理事長。目前聯(lián)盟首批成員單位已達(dá)149家，包括神華集團(tuán)、中車集團(tuán)、航空工業(yè)、中國兵裝、中國電子信息產(chǎn)業(yè)集團(tuán)等18家副理事長單位，中核集團(tuán)、中船重工、中石化、中鋼集團(tuán)、中國煙草等45家理事單位。

（來源：工業(yè)和信息化部官網(wǎng))

Data center infrastructure maintenance risk management technology

MAO Wen-jie
(China United Network Communications Group Co., Ltd. Shanghai Branch, Shanghai 200050, China)

In this thesis, the infrastructure operation and maintenance of high fault data center are analyzed and summarized, the introduction of relevant theories and methods of risk management, the risk identification, risk assessment and risk response infrastructure, improve the maintenance quality of continuous circulation and technology, continue to troubleshoot security risks, to reduce the probability of the accident.

IDC; risk identif i cation; risk assessment; risk response; operational risk database

TN86

A

1008-5599（2017）06-0067-05

2016-12-26