民生銀行：自主打造運(yùn)維管理平臺(tái)， 提升數(shù)據(jù)中心管理效能

諶力 張申宇

近幾年，銀行在面對(duì)數(shù)據(jù)中心大幅提升的數(shù)據(jù)量，以及要求越來(lái)越嚴(yán)格的數(shù)據(jù)管理、安全標(biāo)準(zhǔn)的情況之下，提升自身運(yùn)維管理能力，提高數(shù)據(jù)中心運(yùn)維效能就顯得刻不容緩。但是，目前市場(chǎng)上大多數(shù)基礎(chǔ)設(shè)施運(yùn)維管理平臺(tái)對(duì)其他品牌產(chǎn)品的兼容性比較差，如果需要實(shí)現(xiàn)全平臺(tái)、全品牌的兼容管理就需要采用自主研發(fā)的手段來(lái)實(shí)現(xiàn)。

近日，民生銀行科技部系統(tǒng)管理中心硬件運(yùn)維主管畢偉光介紹了近幾年民生銀行在數(shù)據(jù)中心建設(shè)、運(yùn)維管理，以及民生銀行近幾年自主研發(fā)的存儲(chǔ)管理平臺(tái)、帶外管理平臺(tái)、自動(dòng)化運(yùn)維平臺(tái)方面的成功經(jīng)驗(yàn)。

結(jié)合自身需求 自主研發(fā)存儲(chǔ)管理平臺(tái)

近幾年，隨著民生銀行數(shù)字化建設(shè)步伐的推進(jìn)，存儲(chǔ)平臺(tái)和X86服務(wù)器的使用量大幅提升，且存儲(chǔ)設(shè)備包括了EMC等3家以上主流供應(yīng)商的品牌。原先的存儲(chǔ)管理系統(tǒng)都是每個(gè)品牌管理自己的設(shè)備，不能跨平臺(tái)管理，存儲(chǔ)系統(tǒng)的變更和日常的維護(hù)工作中一大部分還需要依靠人工完成。因此，隨著設(shè)備和數(shù)據(jù)量的增加，運(yùn)維壓力不斷增加。

畢偉光表示：“實(shí)現(xiàn)各個(gè)存儲(chǔ)平臺(tái)之間的兼容與實(shí)時(shí)監(jiān)控，依靠其中哪個(gè)廠商都實(shí)現(xiàn)不了。我們之前也嘗試著找過(guò)第三方的存儲(chǔ)管理平臺(tái)的廠商，基本上我們需要的定制化的要求都很難實(shí)現(xiàn)，因?yàn)槠脚_(tái)品牌數(shù)量多，兼容既有其他工具的管理要求高，要實(shí)現(xiàn)設(shè)備之間的兼容及自動(dòng)化需要2～3年的開(kāi)發(fā)周期，這個(gè)周期太長(zhǎng)不能滿足行內(nèi)的要求?！?/p>

正是基于這種情況，以及日益增加的設(shè)備數(shù)量所帶來(lái)的運(yùn)維壓力，2018年，民生銀行決定結(jié)合自身對(duì)于存儲(chǔ)管理的使用需求，自主開(kāi)發(fā)一套適合自己的存儲(chǔ)管理平臺(tái)。民生銀行利用開(kāi)源工具，結(jié)合運(yùn)維團(tuán)隊(duì)多年的運(yùn)維管理經(jīng)驗(yàn)，參照包括EMC SRM管理平臺(tái)等工具的部分功能及邏輯，自主研發(fā)出一套存儲(chǔ)管理平臺(tái)。該平臺(tái)不光在磁盤存儲(chǔ)方面實(shí)現(xiàn)兼容，還在存儲(chǔ)交換機(jī)等產(chǎn)品層面實(shí)現(xiàn)了不同廠商、不同架構(gòu)的兼容，還可以實(shí)現(xiàn)主機(jī)端口信息的兼容，以及交換機(jī)的配置、狀態(tài)，存儲(chǔ)的配置、狀態(tài)、容量等信息的實(shí)時(shí)提取和顯示，實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)的跨平臺(tái)管理。

談到存儲(chǔ)管理平臺(tái)的作用，畢偉光表示：“存儲(chǔ)管理平臺(tái)搭建起來(lái)之后，在解決自動(dòng)化巡檢和監(jiān)控問(wèn)題的同時(shí)，還解決了自動(dòng)化配置變更的問(wèn)題。原有的監(jiān)控系統(tǒng)管理起來(lái)并不精密，依靠人工管理難度大，效率低，統(tǒng)一整合到一個(gè)平臺(tái)之后，大幅提升了數(shù)據(jù)的質(zhì)量和準(zhǔn)確度，在此基礎(chǔ)上實(shí)現(xiàn)了自動(dòng)化運(yùn)維的功能，包括跟其他平臺(tái)的銜接也更順暢了?！?/p>

隨著存儲(chǔ)管理平臺(tái)的投入使用，運(yùn)維效率大幅提升，運(yùn)維人員有更多時(shí)間跟精力投入對(duì)平臺(tái)的升級(jí)、迭代，以及對(duì)存儲(chǔ)設(shè)備的精細(xì)化運(yùn)維中。

積極探索統(tǒng)一帶外管理工具

隨著小型機(jī)下移和分布式技術(shù)的發(fā)展，近幾年服務(wù)器使用數(shù)量大幅增長(zhǎng)，X86架構(gòu)服務(wù)成為主要增加的服務(wù)器設(shè)備。原有的服務(wù)器運(yùn)維方法已經(jīng)不足以應(yīng)對(duì)日益增長(zhǎng)的服務(wù)器數(shù)量。畢偉光表示：“目前民生銀行使用的服務(wù)器包括X86服務(wù)器和小型機(jī)。各個(gè)不同的服務(wù)器品牌之間的管理工具相互兼容性并不好，我們想通過(guò)一個(gè)平臺(tái)實(shí)現(xiàn)所有服務(wù)器的統(tǒng)一管理。面對(duì)這種情況，民生銀行在2018年自主研發(fā)了一套帶外管理平臺(tái)?！?/p>

帶外管理平臺(tái)是一個(gè)基于開(kāi)源平臺(tái)基礎(chǔ)上的監(jiān)控、管理和配置收集的分布式平臺(tái)。相比于需要通過(guò)操作系統(tǒng)的帶內(nèi)管理來(lái)說(shuō)，帶外管理平臺(tái)不需要登入操作系統(tǒng)，只是基于設(shè)備的微碼層面，就可以在微碼層面管理設(shè)備的硬件，相比于帶內(nèi)管理平臺(tái)，帶外管理平臺(tái)減少了運(yùn)營(yíng)成本、提高了運(yùn)營(yíng)效率、減少了宕機(jī)時(shí)間、提高了服務(wù)質(zhì)量。

“民生銀行在開(kāi)源平臺(tái)的基礎(chǔ)上開(kāi)發(fā)的帶外管理平臺(tái)，只要設(shè)備接通電源，接入網(wǎng)絡(luò)后，就可以通過(guò)帶外管理平臺(tái)來(lái)收集服務(wù)器的配置信息，管理服務(wù)器的監(jiān)控指標(biāo)，并處理服務(wù)器發(fā)出的告警，排查硬件層面的問(wèn)題，第一時(shí)間進(jìn)行監(jiān)控及處理，并且并不受設(shè)備品牌及架構(gòu)的限制?！碑厒ス庹劦?。

據(jù)介紹，在民生銀行自主開(kāi)發(fā)帶外管理平臺(tái)的過(guò)程中，戴爾為民生銀行提供了部分代碼及技術(shù)層面的支持，以完善帶外管理平臺(tái)的功能。在測(cè)試階段，戴爾還參與了部分腳本的測(cè)試。

緊跟科技發(fā)展潮流 進(jìn)軍自動(dòng)化運(yùn)維

除了存儲(chǔ)管理平臺(tái)和帶外管理平臺(tái)之外，早在2017年，民生銀行就開(kāi)始搭建自己的自動(dòng)化運(yùn)維平臺(tái)。

“自動(dòng)化運(yùn)維是一個(gè)體系的建設(shè)，并不是建設(shè)好一個(gè)平臺(tái)就能實(shí)現(xiàn)自動(dòng)化。在實(shí)現(xiàn)自動(dòng)化的過(guò)程中，從上層的審批、管理的維度，到一些制度的落實(shí)，包括一些運(yùn)維經(jīng)驗(yàn)及習(xí)慣的改變都很重要?！闭劦阶詣?dòng)化運(yùn)維平臺(tái)的應(yīng)用，畢偉光表示：“自動(dòng)化是一把雙刃劍，一方面提高了運(yùn)維的效率，另一方面也放大了運(yùn)維的風(fēng)險(xiǎn)。在初期部署時(shí)，我們就遇到過(guò)在測(cè)試環(huán)境中，自動(dòng)化刪除了一批不該刪除的數(shù)據(jù)，在經(jīng)驗(yàn)積累之后，對(duì)自動(dòng)化帶來(lái)的風(fēng)險(xiǎn)已經(jīng)能夠掌控，這是一個(gè)逐步推進(jìn)和掌握的過(guò)程——在平臺(tái)搭建的初始階段只是實(shí)施腳本的自動(dòng)部署、配置的自動(dòng)收集，緊接著實(shí)現(xiàn)了自動(dòng)化腳本的執(zhí)行，自動(dòng)化的安裝。到目前為止，從部署到運(yùn)行都可以實(shí)現(xiàn)自動(dòng)化?！?/p>

在2018年年初，通過(guò)與PaaS平臺(tái)結(jié)合，民生銀行的自動(dòng)化運(yùn)維平臺(tái)正式上線，目前還處于不斷完善的過(guò)程中。因?yàn)樽詣?dòng)化運(yùn)維平臺(tái)與硬件平臺(tái)以及服務(wù)器之間的銜接比較多，最初民生銀行實(shí)現(xiàn)的一些功能都是通過(guò)自動(dòng)化運(yùn)維平臺(tái)進(jìn)行數(shù)據(jù)的采集，現(xiàn)在隨著其他的平臺(tái)上線，自動(dòng)化運(yùn)維平臺(tái)主要負(fù)責(zé)實(shí)現(xiàn)系統(tǒng)級(jí)數(shù)據(jù)的采集和部署。

談到自動(dòng)化運(yùn)維的經(jīng)驗(yàn)，畢偉光說(shuō)：“自動(dòng)化運(yùn)維首先要有審核、把控的機(jī)制，沒(méi)有一個(gè)嚴(yán)格的審核、把控機(jī)制，運(yùn)維風(fēng)險(xiǎn)會(huì)被無(wú)限放大。其次，要不斷完善運(yùn)維體系、流程、制度，使之和自動(dòng)化系統(tǒng)相匹配。例如，原先都是通過(guò)人工實(shí)施，實(shí)現(xiàn)自動(dòng)化執(zhí)行之后，相關(guān)的人工的決策環(huán)節(jié)要制定清楚?！?/p>

現(xiàn)在，民生銀行在不斷完善自己各個(gè)平臺(tái)及系統(tǒng)的同時(shí)，還在緊跟科技的潮流，推進(jìn)智能運(yùn)維實(shí)施落地。民生銀行將各個(gè)平臺(tái)之間進(jìn)行整合，開(kāi)發(fā)出不同的功能。比如，運(yùn)維可視化可以將基于應(yīng)用運(yùn)維的平臺(tái)整合到可視化平臺(tái)中，與CMDB數(shù)據(jù)庫(kù)、存儲(chǔ)管理平臺(tái)以及帶外管理平臺(tái)對(duì)接后，形成了一個(gè)更系統(tǒng)化、架構(gòu)化的平臺(tái)，這是目前民生銀行在主要推進(jìn)落地應(yīng)用的項(xiàng)目之一。

隨著智能化、自動(dòng)化的推進(jìn)，提高了運(yùn)維人員的工作效率，“原先許多操作都需要人工進(jìn)行復(fù)核比對(duì)，現(xiàn)在實(shí)現(xiàn)自動(dòng)化運(yùn)行，節(jié)省出來(lái)的人工可以更多投入到運(yùn)維制度建設(shè)、精細(xì)管理和工具化實(shí)施中，進(jìn)一步提高運(yùn)維效率，降低運(yùn)維風(fēng)險(xiǎn)，從而形成良性循環(huán)?！碑厒ス獗硎尽?/p>