項偉
(中科軟科技股份有限公司 北京市 100080)
隨著商業(yè)銀行信息化的深入,商業(yè)銀行的應(yīng)用系統(tǒng)數(shù)量逐漸增加,功能越來越強(qiáng)大,越來越復(fù)雜,以滿足不斷激烈的市場競爭中持續(xù)的業(yè)務(wù)需求。各種應(yīng)用程序系統(tǒng)會產(chǎn)生大量的大型日志。這些日志主要用于記錄用戶操作,系統(tǒng)操作狀態(tài),業(yè)務(wù)交易處理等,并且是應(yīng)用程序系統(tǒng)的重要組成部分。因此,商業(yè)銀行應(yīng)用系統(tǒng)的操作和根據(jù)維護(hù)日志特征的操作,從維護(hù)日志中提取和提取有價值的信息,綜合指標(biāo)評估系統(tǒng)的概述和提取,以及整體評估預(yù)測,因此,應(yīng)用程序系統(tǒng)審核的所有方面都很重要。
商業(yè)銀行應(yīng)用程序系統(tǒng)的主動運行和維護(hù)是一種先進(jìn)的管理概念,指的是一種主動處理所有緊急故障和緊急情況的運行和維護(hù)模式。與傳統(tǒng)運維模式相比,它可以在技術(shù)和管理兩方面實現(xiàn)商業(yè)銀行應(yīng)用系統(tǒng)的運行。同時,通過完整的運維流程和合理的運維計劃,可以提高主動運維水平。同時,通過構(gòu)建用于大規(guī)模運維的智能自動運行平臺,大大提高了工作效率。另外,現(xiàn)有的操作和維護(hù)支持工具不是高度自動化的,無法監(jiān)視所有操作和維護(hù)對象,這些對象將完全自動過濾掉大量警報信息。現(xiàn)有的運維程序不規(guī)范,導(dǎo)致運維工作混亂,另外,運維人員的積極意識相對較弱。同時,一些商業(yè)銀行缺乏積極響應(yīng)的動力,運維人員的積極運維意識不高,無法完全預(yù)防突發(fā)事件[1]。
計算機(jī)在數(shù)據(jù)和信息的高速處理中更快且更準(zhǔn)確,并且不可避免地導(dǎo)致信息的傳輸和反饋更快。使用計算機(jī)軟件作為計算機(jī)應(yīng)用程序的一部分,用于商業(yè)銀行的日常操作和維護(hù)可以滿足檢查,轉(zhuǎn)換和其他操作的需求。根據(jù)自動執(zhí)行維護(hù)工作的需要,可以增強(qiáng)控制功能并設(shè)置技術(shù)規(guī)格,以準(zhǔn)確控制操作和維護(hù)的主要工作區(qū)域。結(jié)果,減少了人為操作的失敗,并且提高了應(yīng)用系統(tǒng)的可用性。
商業(yè)銀行運營和維護(hù)服務(wù)系統(tǒng)具有一些特定的缺陷,日常操作和維護(hù)涉及許多技術(shù)上復(fù)雜且危險的操作程序,這使其高度依賴熟練的勞動力。為了解決這些問題,將為商業(yè)銀行的運營和維護(hù)服務(wù)建立一個高效,準(zhǔn)確并且更加完善自動化系統(tǒng)中去。
根據(jù)項目組織變更后的要求,部分或全部根據(jù)項目組織的變更管理和實施項目,以適應(yīng)與項目相關(guān)的各個要素的變更,并確保項目目標(biāo)是在項目運營期間實現(xiàn)并處理的。作為軟件開發(fā)生命周期每個階段的重要元素,它對變更管理系統(tǒng)的操作和維護(hù)至關(guān)重要。通過從系統(tǒng)變更管理日志中提取指標(biāo),可以充分體現(xiàn)應(yīng)用系統(tǒng)的特征。
圖1
圖2
變更管理系統(tǒng)日志記錄每個應(yīng)用程序系統(tǒng)的所有變更和變更時間,并且可以每月或每季度計算一次變更的頻率或次數(shù)。如果更改的頻率或更改次數(shù)過高,則表明應(yīng)用程序系統(tǒng)經(jīng)常修復(fù)錯誤,因此就會要求立即添加功能,優(yōu)化性能或升級版本,這表明應(yīng)用程序系統(tǒng)的功能設(shè)計和框架反映出設(shè)計不夠完美,系統(tǒng)版本的穩(wěn)定性存在問題,此度量標(biāo)準(zhǔn)可用于從三個方面表征應(yīng)用程序系統(tǒng):功能設(shè)計,框架設(shè)計和版本穩(wěn)定性。
日志規(guī)模大:以國有銀行為例,網(wǎng)上銀行系統(tǒng)(企業(yè),個人,手機(jī)等)每天生成的日志數(shù)量已達(dá)到71GB,這是一個簡單的應(yīng)用程序和事務(wù)日志,添加系統(tǒng)日志后,對于數(shù)據(jù)庫日志和網(wǎng)絡(luò)日志等數(shù)據(jù),我們正在被動地估計每天何時生成大約100 GB 的日志數(shù)據(jù)。網(wǎng)上銀行系統(tǒng)只是商業(yè)銀行信息系統(tǒng),核心業(yè)務(wù)系統(tǒng),信貸系統(tǒng)和資金管理系統(tǒng)的一部分。每天都會針對系統(tǒng)類型生成大量日志數(shù)據(jù)。傳統(tǒng)的日志分析方法,例如使用grep 和awk 等Linux 腳本,它不能滿足這些大型日志分析需求[2]。
日志格式不規(guī)范,并且存儲格式分散。商業(yè)銀行系統(tǒng)的組成很復(fù)雜,包括自我開發(fā),外包,外包二次開發(fā)和開源轉(zhuǎn)換。除了這種復(fù)雜的系統(tǒng)結(jié)構(gòu)之外,沒有適當(dāng)?shù)娜罩靖袷降拿鞔_寫規(guī)范,并且出現(xiàn)了商業(yè)銀行各種日志的各種不規(guī)則記錄格式。此外,每個應(yīng)用程序系統(tǒng)日志主要以各種格式分發(fā)和存儲,應(yīng)用程序日志被寫入數(shù)據(jù)庫或文本文件,系統(tǒng)日志具有不同的存儲路徑和格式,具體取決于平臺。各種各樣的日志分布在各地,沒有集成的收集和管理平臺。
我們將首先審查管理標(biāo)準(zhǔn),審查支持標(biāo)準(zhǔn),最后完善一些機(jī)制以達(dá)到主動的運營和維護(hù)標(biāo)準(zhǔn)。對于研究規(guī)范,主要包括確認(rèn)操作和維護(hù)要求的規(guī)范以及操作體系結(jié)構(gòu)研究規(guī)范。換句話說,有必要考慮運維管理者收集和總結(jié)的運維保證的規(guī)格,以確保運維要求在項目需求的開發(fā)階段的適用性和合理性。當(dāng)然,也有必要修改和改進(jìn)正在考慮的運維經(jīng)理提供的解釋。業(yè)務(wù)架構(gòu)審查由科學(xué)技術(shù)部門組成,與項目團(tuán)隊合作進(jìn)行架構(gòu)設(shè)計和架構(gòu)審查。應(yīng)用程序體系結(jié)構(gòu)側(cè)重于三個方面:數(shù)據(jù)體系結(jié)構(gòu),基礎(chǔ)結(jié)構(gòu)和操作體系結(jié)構(gòu)。支持規(guī)范適用于變更管理規(guī)范,并包括測試技術(shù)支持規(guī)范。應(yīng)用變更管理規(guī)范可以增強(qiáng)將變更應(yīng)用,考慮作為關(guān)鍵集成原則和標(biāo)準(zhǔn)化操作系統(tǒng)的意識,并控制變更風(fēng)險。而且,商業(yè)銀行的操作在生產(chǎn)和修改應(yīng)用程序系統(tǒng)期間經(jīng)常發(fā)生,因此它是在生產(chǎn)階段執(zhí)行變更管理的風(fēng)險防范的重要組成部分。安全生產(chǎn)辦公室進(jìn)行收集,記錄和分析,以從根本上減少此類事件的發(fā)生,確保應(yīng)用程序系統(tǒng)的安全穩(wěn)定運行,并改善對這些問題的意見和行動。有效避免調(diào)查事件原因卻忽略了整改現(xiàn)象的總結(jié)。
在分析需求的階段,應(yīng)根據(jù)系統(tǒng)研究和開發(fā)的重要性以及實際應(yīng)用的目標(biāo),根據(jù)功能設(shè)計概述和實際應(yīng)用目標(biāo),提出系統(tǒng)設(shè)計中要實現(xiàn)的功能,提供下一次運行的能力。
在生成各種類型的事件中,如應(yīng)用程序系統(tǒng)正在運行的應(yīng)用程序錯誤或異常、服務(wù)請求、環(huán)境、系統(tǒng)、網(wǎng)絡(luò)等。計算應(yīng)用程序系統(tǒng)在特定事件中生成的事件數(shù),根據(jù)事件類別作為維度的分類可以反映與事件類別相對應(yīng)鏈接的系統(tǒng)的缺陷,發(fā)生系統(tǒng)事件時,它將對系統(tǒng)產(chǎn)生特定影響,事件的嚴(yán)重性反映在影響的大小和持續(xù)時間上。如果影響對應(yīng)用程序系統(tǒng)在至關(guān)重要的服務(wù)的事件上,具有很長的影響時間,則意味著需要對應(yīng)用程序系統(tǒng)進(jìn)行重點監(jiān)視。
參考商業(yè)銀行的運行維護(hù)狀況,以及應(yīng)用系統(tǒng)運行維護(hù)評價指標(biāo)和應(yīng)用系統(tǒng)特性的對應(yīng)關(guān)系,從三大運行維護(hù)管理系統(tǒng)中提取應(yīng)用:變更管理系統(tǒng)、事件管理系統(tǒng)、問題管理系統(tǒng)與系統(tǒng)的運維相關(guān)的數(shù)據(jù),數(shù)據(jù)的預(yù)處理以及將數(shù)據(jù)存儲在運維日志數(shù)據(jù)庫中。基于運維日志數(shù)據(jù)庫,我們使用分析,統(tǒng)計,挖掘等方法從運維日志中提取指標(biāo)。比較系統(tǒng)功能的數(shù)據(jù)庫使用系統(tǒng)評估模型對系統(tǒng)進(jìn)行抽象和評估,最后提取最接近系統(tǒng)特性的功能集。使用這些功能可以評估應(yīng)用程序系統(tǒng)的運行和健康狀況,提供操作和維護(hù)的方向以及操作和維護(hù)人員的關(guān)注點,降低操作和維護(hù)人員的難度,并制定目標(biāo)和安全管理措施。可以提前防止系統(tǒng)中可能出現(xiàn)的危險,防止生產(chǎn)事故,并確保應(yīng)用程序系統(tǒng)安全可靠地運行。
商業(yè)銀行運維服務(wù)自動化系統(tǒng)的用戶包括系統(tǒng)管理員、維護(hù)人員、操作員和管理人員。
(1)系統(tǒng)管理員:負(fù)責(zé)系統(tǒng)初始化管理核心參數(shù)的配置,用戶管理和權(quán)限管理。負(fù)責(zé)開發(fā)檢查腳本(包括創(chuàng)建消息分析規(guī)則)和檢查腳本的版本控制。
(2)維護(hù)人員:權(quán)限范圍內(nèi)每個應(yīng)用程序系統(tǒng)的服務(wù)器配置負(fù)責(zé)分配每個服務(wù)器的測試項目,以及每個測試項目的檢查點,負(fù)責(zé)啟動或停止每個服務(wù)器的掃描過程,監(jiān)視管理服務(wù)器上的調(diào)查。
(3)管理人員:從宏觀層面(系統(tǒng)層面:體重保險一等,二等,三等)到微觀(檢查點)檢查狀態(tài),提供相關(guān)的統(tǒng)計報告和圖形查詢顯示[3]。
構(gòu)建用于商業(yè)銀行運營和維護(hù)服務(wù)的自動化系統(tǒng)的檢查過程的總體目標(biāo),是詳細(xì)定義自動化檢查的總體功能,并指出自動化檢查的總體設(shè)計原理和性能要求。如果系統(tǒng)較復(fù)雜,則可以按層次進(jìn)行描述。
商業(yè)銀行運維服務(wù)自動檢查流程是一種自動檢查工作流程,它是通過對每個商業(yè)銀行業(yè)務(wù)系統(tǒng)的檢查計劃進(jìn)行調(diào)查和分析而設(shè)計的,并與系統(tǒng)的流程設(shè)計平臺相結(jié)合。目標(biāo)是解決商業(yè)銀行日常檢查工作的自動化問題。該過程具有自動檢查,收集檢查數(shù)據(jù)和檢查結(jié)果分析等功能。檢查過程滿足性能要求,例如跨平臺執(zhí)行,7*24小時自動操作和個性化需求定制。商業(yè)銀行和維護(hù)服務(wù)的自動切換主要描述雙機(jī)轉(zhuǎn)換功能的設(shè)計,尤其是指導(dǎo)系統(tǒng)編碼階段的開發(fā)以及用于提供該技術(shù)的整體轉(zhuǎn)換功能,并解釋了總體設(shè)計方法,聯(lián)機(jī)后維護(hù)銀行卡正面系統(tǒng)的基礎(chǔ)[4]。
在功能實現(xiàn)階段,必須以編碼形式實現(xiàn)先前完成的設(shè)計。它能夠?qū)⒃O(shè)計應(yīng)用于系統(tǒng)的設(shè)計內(nèi)容。根據(jù)相關(guān)銀行經(jīng)理的工作習(xí)慣,自動檢查的總體界面設(shè)計簡潔大方,對相關(guān)人員進(jìn)行檢查和查看檢查報告很有用。檢查過程在過程開始時僅注冊一次參考時間,運維自動化服務(wù)根據(jù)參考時間和下一次檢查時間比較設(shè)備的檢查頻率,并創(chuàng)建當(dāng)前檢查周期中需要檢查設(shè)備的所有檢查項目和檢查點,用于準(zhǔn)備過程中后續(xù)功能單元的數(shù)據(jù)。
當(dāng)前,大數(shù)據(jù)領(lǐng)域中最前沿的研究熱點是用戶的肖像。所謂用戶圖,是基于一些基本信息和用戶行為數(shù)據(jù)的分析。用戶使用從標(biāo)簽中抽象出的標(biāo)簽集合,這些標(biāo)簽可以在各個維度上反映用戶的特征。換句話說,用戶的關(guān)鍵是標(biāo)簽的集合。根據(jù)不同用戶的標(biāo)簽為不同的目的定義不同的營銷策略和促銷策略,并根據(jù)不同的應(yīng)用場景定義不同的標(biāo)簽,用戶認(rèn)為是大數(shù)據(jù)領(lǐng)域就是一種典型應(yīng)用。
商業(yè)銀行要在項目需求的開發(fā)階段中制定運行和維護(hù)需求,并參與檢查運行和維護(hù)需求。運營,維護(hù)和管理員收集,總結(jié)改進(jìn)運營和維護(hù)支持框架以及運營和維護(hù)支持的要求,估算運營和維護(hù)要求的工作量,并計劃運營和維護(hù)要求的測試和批準(zhǔn)。才能決定運維需求的制定完成后,運維高級工程師主要根據(jù)確認(rèn)需求的計劃對運維進(jìn)行運維,以檢查運維的完整性,適用性和合理性。需要考慮需求。最后操作維護(hù)和管理員會根據(jù)審閱期間創(chuàng)建的意見進(jìn)行更正和改進(jìn)。
商業(yè)銀行操作事件發(fā)生在大多數(shù)應(yīng)用程序系統(tǒng)的生產(chǎn)和修改期間,因此它們是防止在生產(chǎn)階段進(jìn)行良好變更管理風(fēng)險的重要組成部分。為了使運維過程中各種應(yīng)用程序的變更活動標(biāo)準(zhǔn)化,增強(qiáng)對變更注意事項的認(rèn)識并控制變更風(fēng)險,基于相關(guān)系統(tǒng)開發(fā)了變更管理流程。變更管理過程以變更審查為中心,并基于“集成管理,職責(zé)分類,標(biāo)準(zhǔn)化操作和嚴(yán)格的風(fēng)險管理”[5]。主要包括應(yīng)用更改、審閱、實施、驗證、特殊控制、審閱、緊急響應(yīng)和信息共享。
運營和維護(hù)部門負(fù)責(zé)創(chuàng)建,審查和跟蹤問題,而開發(fā)部門負(fù)責(zé)解決和報告問題。解決發(fā)現(xiàn)的問題,以使每個問題都消失并得到正確有序的解決。同時進(jìn)行問題跟蹤通過一系列以問題為中心的推廣會議,例如每周會議,每月會議和季度交流會議,我們加強(qiáng)了對問題解決過程的跟蹤和協(xié)調(diào),分析和評估了解決問題的方法,并更新了分析結(jié)果。在制定適用于項目的運營和維護(hù)需求的過程中,形成了優(yōu)化和改進(jìn)的閉環(huán),從而逐步實現(xiàn)了針對應(yīng)用系統(tǒng)問題的集中、復(fù)雜和主動的管理。
隨著商業(yè)銀行的不斷發(fā)展,對主動運行和維護(hù)規(guī)范的研究更加全面,主動運行和維護(hù)規(guī)范的優(yōu)勢也在增加,不僅可以預(yù)防突發(fā)事件,而且可以提高運行效率和維護(hù)工作。商業(yè)銀行應(yīng)用系統(tǒng)的主動運行和維護(hù)規(guī)范主要是三種,技術(shù)、組織和管理規(guī)范。日志分析應(yīng)用系統(tǒng)的畫像應(yīng)該朝著商業(yè)銀行調(diào)查日志分析的更有意義的研究方向發(fā)展,但是仍然存在一些問題。預(yù)期未來有效的運營和維護(hù)規(guī)范將為商業(yè)銀行帶來更大的發(fā)展空間。