企業(yè)信息中心應(yīng)急保障體系的建立

賈棟

隨著信息化技術(shù)的不斷發(fā)展，企業(yè)的日常運(yùn)營生產(chǎn)愈發(fā)離不開各類信息系統(tǒng)，信息中心的規(guī)模也隨之不斷擴(kuò)大，隨之帶來的就是其面臨的風(fēng)險(xiǎn)也越來越多，風(fēng)險(xiǎn)的范圍越來越廣，如：設(shè)備硬件故障、軟件BUG、人為誤操作、網(wǎng)絡(luò)中斷、機(jī)房停電、自然災(zāi)害等，同時(shí)市場競爭的日益激烈和客戶服務(wù)質(zhì)量需求的不斷提高對(duì)企業(yè)信息中心的可靠穩(wěn)定運(yùn)行提出了越來越高的要求，信息中心需要擁有一套成熟、有效的應(yīng)急保障體系，來全面保障業(yè)務(wù)運(yùn)營保障對(duì)外服務(wù)及客戶感知。

一、企業(yè)信息中心風(fēng)險(xiǎn)評(píng)估

一般而言，企業(yè)信息中心主要面臨的風(fēng)險(xiǎn)可分為計(jì)劃外和計(jì)劃內(nèi)兩種：

計(jì)劃外風(fēng)險(xiǎn)：主要指不在計(jì)劃內(nèi)，通常是不可預(yù)估的自然或人為問題，造成信息系統(tǒng)運(yùn)營發(fā)生故障甚至癱瘓的情況，這種類型的風(fēng)險(xiǎn)往往無法避免，主要包括：設(shè)備硬件故障、不可預(yù)測的人為或自然的原因，造成業(yè)務(wù)系統(tǒng)運(yùn)行嚴(yán)重故障或癱瘓的情況，這種風(fēng)險(xiǎn)不可避免，主要包括：自然災(zāi)害、設(shè)備硬件故障，空調(diào)故障，電源故障，人為誤操作，惡意破壞，系統(tǒng)軟件BUG等。

計(jì)劃內(nèi)風(fēng)險(xiǎn)：主要指在計(jì)劃內(nèi)，由于企業(yè)運(yùn)營的需要，通常是由于維護(hù)或上線造成的雖可事先預(yù)知但無法避免的業(yè)務(wù)中斷的情況。主要包括：信息系統(tǒng)上線，系統(tǒng)軟件升級(jí)，硬件擴(kuò)容維護(hù)，系統(tǒng)或應(yīng)用遷移改造等。

通過對(duì)企業(yè)信息中心主要面臨的風(fēng)險(xiǎn)分析，為了更好的保障信息系統(tǒng)的業(yè)務(wù)連續(xù)性，確保對(duì)服務(wù)影響的最小化，需要企業(yè)建立一套成熟、有效的應(yīng)急保障體系，該保障體系必須以滿足業(yè)務(wù)需求，最大化降低服務(wù)的影響為核心，其要點(diǎn)在于對(duì)各種風(fēng)險(xiǎn)問題的應(yīng)對(duì)方法和措施。同時(shí)還需配備相關(guān)人員組織和資源保障方案、制定完整有效的流程、并采用對(duì)應(yīng)的技術(shù)手段，以達(dá)到在企業(yè)信息中心發(fā)生故障和癱瘓情況下快速恢復(fù)信息系統(tǒng)和對(duì)外業(yè)務(wù)的目標(biāo)。

二、應(yīng)急保障體系

根據(jù)對(duì)企業(yè)信息中心面臨的各種風(fēng)險(xiǎn)進(jìn)行分析，企業(yè)應(yīng)建立起包括數(shù)據(jù)備份、本地高可用、快速應(yīng)急、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)在內(nèi)的五層階梯式應(yīng)急保障體系。五層保障措施主要應(yīng)用場景如下表所示：

通過實(shí)施階梯式應(yīng)急保障體系，涵蓋解決目前企業(yè)信息中心主要面臨風(fēng)險(xiǎn)，并提供具體的應(yīng)對(duì)解決措施，最終達(dá)到提高企業(yè)信息中心的抗風(fēng)險(xiǎn)和業(yè)務(wù)連續(xù)性能力的目的。

數(shù)據(jù)備份保障：是最簡單最基本的系統(tǒng)保障手段之一，通過對(duì)核心重要數(shù)據(jù)的定期及不定期的備份實(shí)現(xiàn)對(duì)數(shù)據(jù)的安全保護(hù)，常規(guī)的備份介質(zhì)主要有：獨(dú)立磁帶機(jī)，物理磁帶庫，虛擬磁帶庫、磁盤整列、備份一體機(jī)，或是新型存儲(chǔ)資源池（用于數(shù)據(jù)備份）。通常需將核心業(yè)務(wù)數(shù)據(jù)庫、重要的服務(wù)器操作系統(tǒng)、敏感業(yè)務(wù)數(shù)據(jù)，核心應(yīng)用程序及代碼等建立起信息系統(tǒng)的備份恢復(fù)措施，一次來保障數(shù)據(jù)的安全性。但由于數(shù)據(jù)恢復(fù)步驟相對(duì)較長，一般恢復(fù)時(shí)間在小時(shí)級(jí)，因此其使用范圍主要是提供最基本的數(shù)據(jù)恢復(fù)功能。實(shí)際可按照以下方式進(jìn)行分類：

數(shù)據(jù)類型：系統(tǒng)數(shù)據(jù)（應(yīng)用程序、應(yīng)用配置、操作系統(tǒng)等），業(yè)務(wù)數(shù)據(jù)（記錄文件， 數(shù)據(jù)庫，關(guān)鍵配置數(shù)據(jù)，核心數(shù)據(jù)等）；

備份方式：數(shù)據(jù)同步復(fù)制，文件備份，數(shù)據(jù)庫備份，備份等；

備份周期：實(shí)時(shí)級(jí)，小時(shí)級(jí)，日備份，周備份，月備份，季備份，不定期備份；

本地高可用保障：主要適用于信息系統(tǒng)或信息中心本身內(nèi)部的單點(diǎn)故障，是日常故障中最常用也是最重要的一種保障措施，也是對(duì)信息系統(tǒng)運(yùn)營管理幫助最大的保障措施。具體實(shí)施中需要對(duì)信息系統(tǒng)及相關(guān)業(yè)務(wù)流程建立起沒有單點(diǎn)隱患的本地高可用系統(tǒng)，諸如使用雙/多電源、冗余備份鏈路、雙網(wǎng)卡綁定、磁盤鏡像、多副本、主備接管、應(yīng)用/數(shù)據(jù)庫集群等計(jì)算機(jī)技術(shù)。根據(jù)采用的技術(shù)種類，相關(guān)業(yè)務(wù)的恢復(fù)時(shí)長也不盡相同，比如使用應(yīng)用集群、磁盤鏡像、雙網(wǎng)卡綁定等技術(shù)的，發(fā)生故障時(shí)對(duì)業(yè)務(wù)的影響在秒級(jí)甚至于對(duì)外無感知；而主備接管技術(shù)通常由于需要進(jìn)行應(yīng)用接管，調(diào)整應(yīng)用流程，因此對(duì)業(yè)務(wù)的影響通常在分鐘級(jí)。

本次高可用主要采用硬件層冗余和軟件層高可用的結(jié)合配置，消除信息系統(tǒng)的單點(diǎn)隱患，其主要包括以下幾點(diǎn)：

消除網(wǎng)絡(luò)單點(diǎn)故障；

消除電力單點(diǎn)故障；

消除磁盤單點(diǎn)故障；

消除數(shù)據(jù)庫單點(diǎn)故障；

消除主機(jī)單點(diǎn)故障；

消除中間件和應(yīng)用軟件單點(diǎn)故障。

快速應(yīng)急：主要面對(duì)的是信息中心日常運(yùn)營中遇到的諸如業(yè)務(wù)邏輯問題，應(yīng)用上線異常、系統(tǒng)進(jìn)程僵死等造成的業(yè)務(wù)中斷。這些故障雖然影響面不大，持續(xù)時(shí)間不長，通常不會(huì)造成嚴(yán)重或特別惡劣的影響，但是往往發(fā)生的幾率及頻度較高，也會(huì)導(dǎo)致用戶感知的下降，是信息中心日常運(yùn)營中需要重視的方面。另外這些問題通常也不是高可用、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)可以解決的，需要通過腳本集成、模塊化部署等方式，形成界面操作或后臺(tái)自動(dòng)化處理，供操作人員快速上手，加快故障處理速度?？焖賾?yīng)急主要分為系統(tǒng)層面和應(yīng)用層面，系統(tǒng)層面：針對(duì)應(yīng)用進(jìn)程異常造成數(shù)據(jù)庫、服務(wù)器等系統(tǒng)方面異常，比如應(yīng)用代碼問題導(dǎo)致的數(shù)據(jù)庫鎖表，應(yīng)用程序異常造成的數(shù)據(jù)文件被鎖或損壞；應(yīng)用層面：針對(duì)單個(gè)或少量進(jìn)程、應(yīng)用流程、接口等異常情況下造成的業(yè)務(wù)中斷或錯(cuò)誤。

主要為信息系統(tǒng)提供最關(guān)鍵業(yè)務(wù)的快速恢復(fù)能力，針對(duì)核心渠道以及核心業(yè)務(wù)，在出現(xiàn)不同類型故障情況下，或計(jì)劃內(nèi)維護(hù)（如新業(yè)務(wù)割接，系統(tǒng)升級(jí)等）情況下，在不啟動(dòng)應(yīng)急或容災(zāi)系統(tǒng)的前提下，通過快速應(yīng)急措施，實(shí)現(xiàn)故障快速處理或者旁路非關(guān)鍵功能，以此實(shí)現(xiàn)在故障后關(guān)鍵業(yè)務(wù)的快速恢復(fù)，進(jìn)而減少用戶的有損感知，提升業(yè)務(wù)服務(wù)質(zhì)量。

快速應(yīng)急主要分為以下兩種方式：

自動(dòng)處置：一般通過后臺(tái)部署自動(dòng)化腳本、程序，對(duì)出現(xiàn)的故障進(jìn)行自動(dòng)處理，不需要人工干預(yù)，主要適用于一些常規(guī)、常用、相對(duì)簡易、方法成熟的問題。如：后臺(tái)定時(shí)自動(dòng)化處理。

人工干預(yù)：指需要通過人工介入、判斷、處理的故障，處理期間需要相關(guān)人員進(jìn)行一些簡單判斷，或者提前無法確認(rèn)的問題，主要針對(duì)于一些相對(duì)復(fù)雜、危險(xiǎn)系數(shù)高的故障。如：半自動(dòng)化操作，界面處理。

應(yīng)急系統(tǒng)：主要為信息系統(tǒng)提供核心業(yè)務(wù)的快速恢復(fù)能力，在部分或全部核心系統(tǒng)發(fā)生故障，且無法快速定位或解決的情況下，通過應(yīng)急系統(tǒng)優(yōu)先提供核心業(yè)務(wù)功能，讓用戶在故障期間可以辦理關(guān)鍵業(yè)務(wù)，進(jìn)而降低對(duì)用戶的影響，確保核心業(yè)務(wù)的連續(xù)性。應(yīng)急系統(tǒng)一般在應(yīng)用層面實(shí)現(xiàn)，往往是生產(chǎn)系統(tǒng)的縮減版或核心版，一般需要分鐘級(jí)別的業(yè)務(wù)恢復(fù)時(shí)間。注意，應(yīng)急系統(tǒng)提供的是核心業(yè)務(wù)，不是全部業(yè)務(wù)，因此只適用于一些可以接受部分功能損失，或者已解耦核心業(yè)務(wù)的信息系統(tǒng)。另外，出于一致性的考量，應(yīng)急系統(tǒng)還需和生產(chǎn)系統(tǒng)的應(yīng)用版本保持一致。因此應(yīng)急系統(tǒng)的應(yīng)用開發(fā)維護(hù)成本相對(duì)較高，其適用面相對(duì)受限，通常用于一些業(yè)務(wù)簡單、功能簡潔、變更量少的信息系統(tǒng)。

容災(zāi)系統(tǒng)：主要設(shè)計(jì)用于各類系統(tǒng)層面的重大故障，諸如：系統(tǒng)大范圍故障，火災(zāi)、地震、供電中斷、傳輸中斷等，造成信息系統(tǒng)完成故障并無法快速恢復(fù)的情況。對(duì)于這些災(zāi)難性的不可預(yù)見的故障，一般通過將啟用容災(zāi)系統(tǒng)來滿足對(duì)外服務(wù)的連續(xù)提供。平時(shí)，容災(zāi)系統(tǒng)對(duì)生產(chǎn)系統(tǒng)的數(shù)據(jù)進(jìn)行同步或異步傳輸復(fù)制，在災(zāi)難性故障發(fā)生后，將生產(chǎn)業(yè)務(wù)指向到容災(zāi)系統(tǒng)，有容災(zāi)系統(tǒng)來實(shí)現(xiàn)業(yè)務(wù)流程，恢復(fù)信息系統(tǒng)相關(guān)業(yè)務(wù)。根據(jù)采用的技術(shù)和手段的不同，容災(zāi)系統(tǒng)一般需要小時(shí)級(jí)別的業(yè)務(wù)恢復(fù)時(shí)間。其相關(guān)技術(shù)可按以下分類。

技術(shù)架構(gòu)： 主備中心模式， 雙中心互備模式， 讀寫分離雙活模式， 讀寫并行雙活模式

切換技術(shù)：DNS，LDAP，TNS配置文件，L4/7

SWITCH

數(shù)據(jù)同步技術(shù)：數(shù)據(jù)庫層復(fù)制（基于重做日志和歸檔日志兩種），存儲(chǔ)底層復(fù)制，操作系統(tǒng)卷復(fù)制，遠(yuǎn)程擴(kuò)展集群技術(shù)

容災(zāi)系統(tǒng)的建設(shè)及技術(shù)類型有多種組合可以選擇，具體實(shí)施時(shí)還需根據(jù)公司的運(yùn)營情況，業(yè)務(wù)特點(diǎn)，對(duì)外影響，預(yù)算情況等進(jìn)行綜合評(píng)估后，再根據(jù)各技術(shù)的不同特點(diǎn)進(jìn)行選擇使用。

三、新技術(shù)的應(yīng)急保障

目前隨著云計(jì)算、開源軟件等技術(shù)的發(fā)展，許多IT新技術(shù)涌現(xiàn)，同時(shí)在企業(yè)信息中心中發(fā)揮著越來越重要的作用，也成為了企業(yè)業(yè)務(wù)流程中不可或缺的一部分。因此在信息中心的應(yīng)急保障體系中，也需要對(duì)這些新技術(shù)的應(yīng)急保障進(jìn)行考量并設(shè)計(jì)。下面將從Docker鏡像、內(nèi)存數(shù)據(jù)庫、虛擬化平臺(tái)、分布式架構(gòu)這四個(gè)目前常用的新技術(shù)出發(fā)，考慮并設(shè)計(jì)其應(yīng)急保障建設(shè)要求。

四、應(yīng)急保障管理

應(yīng)急保障體系建設(shè)完成后，還需要從管理流程上予以明確，通過有效的機(jī)制及流程，來確保體系中相關(guān)內(nèi)容的有效落地，在故障發(fā)生后真正有效的發(fā)揮出應(yīng)急保障體系的作用。應(yīng)急保障工作可以按照事前、事中、事后三個(gè)階段進(jìn)行管理。

事前保障是在故障發(fā)生前做的準(zhǔn)備工作，為后續(xù)的使用做好前期工作：建立應(yīng)急保障組織、編制應(yīng)急預(yù)案、制定演練計(jì)劃，安排日常監(jiān)控與測試工作；

事中保障是對(duì)事前保障措施的使用驗(yàn)證，是指當(dāng)故障發(fā)生時(shí)，應(yīng)急處理流程的具體運(yùn)作方式及響應(yīng)情況，包括故障定位，影響評(píng)估，應(yīng)急決策，應(yīng)急響應(yīng)，對(duì)外通報(bào)，應(yīng)急或容災(zāi)系統(tǒng)切換、切回，業(yè)務(wù)驗(yàn)證，故障解決等工作；

事后保障是指在故障發(fā)生和業(yè)務(wù)恢復(fù)后，對(duì)出現(xiàn)問題的原因進(jìn)行分析和總結(jié)的過程，以及對(duì)現(xiàn)有應(yīng)急流程優(yōu)化的工作。

五、總結(jié)

通過技術(shù)和管理的相結(jié)合，建起完整的企業(yè)信息系統(tǒng)應(yīng)急保障體系，在應(yīng)急故障處理中實(shí)現(xiàn)人力保障、物質(zhì)條件和技術(shù)支撐三個(gè)層面的保障，將有限的資源充分合理利用，將數(shù)據(jù)備份、本地高可用、快速應(yīng)急、應(yīng)急系統(tǒng)、容災(zāi)系統(tǒng)五層體系的功能徹底發(fā)揮出來，加強(qiáng)對(duì)各信息系統(tǒng)及功能業(yè)務(wù)的保障，為企業(yè)提供不間斷的業(yè)務(wù)支撐服務(wù)，保證客戶滿意度、服務(wù)質(zhì)量、企業(yè)信譽(yù)等不受影響，減少或避免財(cái)務(wù)損失，增強(qiáng)企業(yè)的市場競爭力。