電網(wǎng)企業(yè)數(shù)據(jù)庫自動化運維工具的研究與應用

吳尚 王萍 胡聰 徐敏 宋曉波 金國俊

摘 要：隨著電力信息化的發(fā)展，電網(wǎng)企業(yè)數(shù)據(jù)庫運維管理模式由手動式運維向自動化、標準化、規(guī)范化運維轉(zhuǎn)變。文章通過數(shù)據(jù)庫自動化工具的研究和應用，及時掌握數(shù)據(jù)庫的運行狀態(tài)，保障數(shù)據(jù)庫的良好穩(wěn)定運行，找出數(shù)據(jù)庫的異狀及發(fā)現(xiàn)隱患，以便及時采取對策。

關(guān)鍵詞：數(shù)據(jù)庫；自動化；運維工具

隨著國網(wǎng)公司信息化建設步伐的加快，國網(wǎng)公司生產(chǎn)、經(jīng)營和管理活動對信息系統(tǒng)愈加依賴，信息系統(tǒng)運行的可靠性和業(yè)務連續(xù)性越發(fā)重要，也為數(shù)據(jù)庫運維工作帶來了新的挑戰(zhàn)，對運維人員也提出了更高的要求。為了更好地滿足一線數(shù)據(jù)庫運維工作要求，需要對運維技術(shù)進行優(yōu)化。開展對數(shù)據(jù)庫自動化工具的研究和應用，對日常運維工作的開展有很大促進和提升，首先能夠提高運維效率，降低運維成本；其次能夠減少對人員的依賴，實現(xiàn)知識積累；再次促進體系建設，支撐運維標準化。

1 電網(wǎng)企業(yè)數(shù)據(jù)庫自動化工具建設背景

當前，國家電網(wǎng)公司信息化持續(xù)深化，數(shù)據(jù)庫種類和數(shù)量不斷增加，IT架構(gòu)復雜性增長始終快于人員增長，熟悉業(yè)務的數(shù)據(jù)庫運維人員積累緩慢，資源不足問題一直存在，運維人員疲于應付巡檢和故障檢修，因此對于數(shù)據(jù)庫運維管理來說是一個巨大挑戰(zhàn)，具體體現(xiàn)在以下4個方面：（1）從現(xiàn)有故障分析來看，80%的業(yè)務可用性和性能問題與應用和數(shù)據(jù)結(jié)構(gòu)相關(guān)，且影響全局的應用類問題大部分體現(xiàn)在數(shù)據(jù)庫層面。（2）70%的故障是業(yè)務系統(tǒng)使用者首先發(fā)現(xiàn)的，存在監(jiān)測盲點，缺少主動預警和事件分析機制。（3）IT持續(xù)建設，數(shù)據(jù)庫種類和數(shù)量不斷增加；運維人員疲于應付巡檢和故障檢修，對疑難問題處置和技術(shù)研究程度不夠。（4）運維自動化低導致在運維過程中獲取大量雜亂信息及警報時，運維人員無法快速定位問題根源，降低了運維服務速度和服務質(zhì)量。

2 數(shù)據(jù)庫自動化工具

2.1 設計理念

針對電網(wǎng)企業(yè)數(shù)據(jù)庫的特點，通過擁有原廠商認證專業(yè)人員的專業(yè)知識，按照標準定點、定期地對信息系統(tǒng)數(shù)據(jù)庫及相關(guān)軟硬件做深度巡檢工作，及時掌握數(shù)據(jù)庫的運行狀態(tài)，保障數(shù)據(jù)庫的良好穩(wěn)定運行，找出數(shù)據(jù)庫的異狀或發(fā)現(xiàn)隱患，以便及時采取對策，將故障消滅在萌芽狀態(tài)。通過對信息系統(tǒng)進行預防性檢查并提出消除隱患的措施，達到其防患于未然的目的。

2.2 具體方法和做法

2.2.1 數(shù)據(jù)庫深度巡檢

依據(jù)數(shù)據(jù)庫運維實際需求，對數(shù)據(jù)庫按既定的深度巡檢指標和頻率進行巡檢，出具巡檢報告。

數(shù)據(jù)庫硬件深度巡檢內(nèi)容包括查看設備外觀及故障指示燈（整體和各部件）；HMC管理平臺：針對連接了HMC的設備，通過HMC查看硬件狀態(tài)及日志（Service Focal Point）；VPD信息收集。

操作系統(tǒng)深度巡檢內(nèi)容包括分區(qū)資源及操作系統(tǒng)信息收集，分區(qū)硬件資源、系統(tǒng)版本等；CPU和內(nèi)存檢查；網(wǎng)絡通信檢查；邏輯卷檢查；文件系統(tǒng)檢查；內(nèi)存交換區(qū)檢查；Dump設備檢查；啟動日志檢查；系統(tǒng)日志檢查；錯誤日志檢查；硬件診斷（diag）；數(shù)據(jù)備份檢查；系統(tǒng)性能檢查；用戶登錄檢查；補丁程序及微碼檢查。

存儲深度巡檢內(nèi)容包括存儲冗余檢查；存儲配置合理性檢查；設備運行情況檢查；日志分析；關(guān)鍵指標檢查；存儲是否存在熱點檢查；安全防護檢查與分析；存儲監(jiān)控和管理檢查與分析。

雙機環(huán)境深度巡檢內(nèi)容包括雙機軟件部署情況（HA Patch版本）；雙機環(huán)境狀態(tài)檢查；雙機軟件部署驗證（verify）。

數(shù)據(jù)庫深度巡檢內(nèi)容包括Oracle后臺進程檢查與分析；文件系統(tǒng)使用率檢查與分析；監(jiān)聽狀態(tài)檢查；監(jiān)聽日志大小檢查與分析；CPU使用率檢查與分析；內(nèi)存交換區(qū)使用率檢查；數(shù)據(jù)庫日志檢查與分析；數(shù)據(jù)庫實例狀態(tài)檢查；數(shù)據(jù)庫控制文件檢查；數(shù)據(jù)庫日志文件檢查與分析；數(shù)據(jù)庫數(shù)據(jù)文件檢查與分析；數(shù)據(jù)庫后臺作業(yè)檢查與分析；數(shù)據(jù)庫無效對象檢查與分析；DBA角色用戶檢查。

OGG巡檢包括巡檢列表包括主機IP、OGG安裝路徑、進程類型、狀態(tài)、延遲時間、檢查點時長、巡檢時間。

2.2.2 數(shù)據(jù)庫運行狀態(tài)預警數(shù)據(jù)庫深度巡檢

數(shù)據(jù)庫性能監(jiān)測包括監(jiān)測列表列出監(jiān)測數(shù)據(jù)庫清單；監(jiān)測內(nèi)容包括數(shù)據(jù)庫名稱、版本、IP地址、告警（嚴重、警告、一般）、性能（平均事務響應時間、DBtime）、工作負載、主機（CPU使用率、內(nèi)存使用率和磁盤繁忙度）、創(chuàng)建時間。平均事務響應時間是對該指標進行橫向和縱向?qū)Ρ融厔莘治?；DBtime對該指標進行橫向和縱向?qū)Ρ融厔莘治觯籆PU使用率是對該指標進行橫向和縱向?qū)Ρ融厔莘治?；?nèi)存使用率是對該指標進行橫向和縱向?qū)Ρ融厔莘治觯淮疟P繁忙度是對該指標進行橫向和縱向?qū)Ρ融厔莘治?；工作負載是查看該負載的等待事件，通過乙方的數(shù)據(jù)庫技術(shù)工具可以查詢到是哪條SQL引起，并能查詢該SQL執(zhí)行計劃情況。

查詢AWR報告信息，包括數(shù)據(jù)庫名稱、IP、實例名、報告名稱、報告生成時間、報告生成人等。生成的查詢報告對AWR根據(jù)選擇的數(shù)據(jù)庫節(jié)點和時間進行生成。

基線管理是根據(jù)指標和日期建立數(shù)據(jù)庫技術(shù)基線，便于日后運維過程中可以進行性能的比對分析。

2.2.3 數(shù)據(jù)庫日志診斷

數(shù)據(jù)庫日志分析能夠通過數(shù)據(jù)庫技術(shù)工具直接關(guān)聯(lián)到相應的Trace文件，由實施工程師對告警日志、CRS日志、監(jiān)聽日志和ASM日志能根據(jù)錯誤關(guān)鍵字分析診斷，快速提取并展示詳細錯誤信息。能根據(jù)時間段導出alert，trace，CRS，監(jiān)聽日志。

2.2.4 數(shù)據(jù)庫行為分析

數(shù)據(jù)庫行為分析能夠追溯數(shù)據(jù)庫的登錄操作、連接操作、DDL操作等操作信息，定位異動行為。

DDL審計能夠?qū)reate，Truncate，Alter，Drop，Grant，Revoke等數(shù)據(jù)庫操作進行監(jiān)控，及時發(fā)現(xiàn)異常行為。

3 應用成效

目前，運維的重要性在不斷地被人們所認識，根據(jù)行業(yè)統(tǒng)計，在IT費用中大約有3/4用于系統(tǒng)運維和維護開發(fā)。這也意味著，系統(tǒng)在開發(fā)結(jié)束并投入運營后，所要花費的成本比例高達75%。因此，提升日常運維作業(yè)的自動化水平，不僅可以有效提高運維效率，同時可以釋放大量被日常運維所占用的資源，實現(xiàn)資源的再增值。

通過數(shù)據(jù)庫自動化工具的研究和應用，國網(wǎng)公司對于數(shù)據(jù)庫隱患排查和計劃檢修效率將大幅提升，大大提升了國網(wǎng)公司的運維質(zhì)量和網(wǎng)絡運行水平。對于數(shù)據(jù)庫運維人員來說，可以減少大量非工作時間應急搶修，縮小故障檢測與定位時間，提高運維效率；對于用戶而言，可以減小信息系統(tǒng)故障帶來的損失；對于業(yè)務應用客戶來說，在提高國家、地方、企業(yè)網(wǎng)絡化、信息化發(fā)展的科學性的同時，還能夠提高單位和個人工作和生活的質(zhì)量，促進和諧社會的建設。

3.1 經(jīng)濟效益

數(shù)據(jù)庫自動化工具符合國網(wǎng)公司對運維工作標準化、規(guī)范化開展的宏觀要求，也符合公司各單位合理調(diào)配服務資源、專業(yè)化隊伍、降低成本的實際需求。

自動化運維工具與傳統(tǒng)運維方式相比，將帶來工作效率的提升、運維成本的降低以及運維服務質(zhì)量的提升。通過自動巡檢、故障定位和故障處理所形成的運維服務閉環(huán)，變被動服務為主動服務，從手動運維轉(zhuǎn)為自動運維，提升運維管理自動化水平，同時提高客戶服務的滿意度。

數(shù)據(jù)庫自動化運維工具對于運維工作所帶來的收益，主要體現(xiàn)在：（1）通過諸如自動化巡檢、自動化配置、自動化處理等模塊，從運維工作規(guī)范性、故障平均處理時間、故障平均響應時間、客戶滿意度等方面提升管理水平，提高運維服務質(zhì)量，提升服務效率。（2）節(jié)約運維人員成本。變被動服務為主動服務，從手動運維轉(zhuǎn)為自動運維，將原本人工巡檢的工作通過平臺的自動巡檢和自動定位來完成，節(jié)省人力合時間成本。（3）提升故障處理效率。通過自動巡檢、故障定位和故障處理所形成的運維服務閉環(huán)，達到運維問題早發(fā)現(xiàn)、早解決的目標，降低因為故障的延誤而帶來的經(jīng)濟損失。

3.2 管理效益

數(shù)據(jù)庫自動化運維工具應用后，提高信息運維服務的技術(shù)含量，加強信息化自動化支撐手段是解放人力資源、優(yōu)化調(diào)配的重要推手。有效降低信息管理的運行維護成本，提高信息調(diào)度反應速度與準確度，提高信息通信網(wǎng)絡資源利用率，提升通信運行管理水平和效率的目的，實現(xiàn)信息通信管理方式向科學化、信息化、精細化轉(zhuǎn)變。

大幅提高國網(wǎng)公司運維管理的先進程度，有助于提升國網(wǎng)公司信息通信管理和技術(shù)水平。使得運維的基礎(chǔ)性工作有了統(tǒng)一與規(guī)范，通過不同工作方法的嘗試和制度的制定，使運維工作逐步實現(xiàn)了向標準化管理轉(zhuǎn)變，其服務質(zhì)量得到了大幅度的提升，在增強了用戶的感知度的同時，也極大地提升了運維服務的效率，隨著運維平臺的逐步使用，根據(jù)需求不斷地進行維持與優(yōu)化后，將為后續(xù)的平臺的發(fā)展打下良好的基礎(chǔ)。

3.3 社會效益

數(shù)據(jù)庫運維管理工具的應用，可以提高運維工作的效率和對外提供服務的能力，有效改善運維人員問題定位和解決速度，最終提高數(shù)據(jù)庫運維服務能力和服務質(zhì)量。

4 結(jié)語

通過本課題的研究，其成果將應用到運維日常工作中，實現(xiàn)運維作業(yè)的內(nèi)容透明化、工作自動化、流程規(guī)范化，從而帶來多方面的效益，為運維作業(yè)標準化建設更好地開展奠定堅實的基礎(chǔ)。

數(shù)據(jù)庫自動化工具以圍繞高效開展運維工作為出發(fā)點，摒棄傳統(tǒng)的以建設監(jiān)控平臺為目的的運檢思路，改變傳統(tǒng)的信息運維工作模式，提升技術(shù)手段，促進運維工作從被動變?yōu)橹鲃?，從手動變?yōu)樽詣?，將日?，嵥椤⒎倍嗪头稚⒌倪\維工作進行高效、集中、可視和自動化管理，并提升運檢人員工作效率，支撐各類信息系統(tǒng)的安全運行，為數(shù)據(jù)庫運行提供便捷、高效、安全的技術(shù)保障。通過建設運維自動化工具，實現(xiàn)包括業(yè)務流程自動化、日常巡檢自動化、故障快速定位與自動處理、數(shù)據(jù)自動備份、可視化展現(xiàn)等功能。