基于D&M模型的IT系統(tǒng)效能評(píng)估審計(jì)評(píng)價(jià)模型

王穎 張珂 趙蔚 戎偉 夏軍 李旭

[摘要]本文基于中國(guó)移動(dòng)北京公司內(nèi)部信息系統(tǒng)審計(jì)成果，從審計(jì)角度探索IT系統(tǒng)效能評(píng)估模型，在拓寬審計(jì)成果實(shí)踐應(yīng)用的同時(shí)，為促進(jìn)企業(yè)信息化管理能力的提升提供參考。

[關(guān)鍵詞]內(nèi)部審計(jì) ? ?IT系統(tǒng) ? ?效能評(píng)估 ? ?模型

一、IT系統(tǒng)需求開(kāi)發(fā)及使用效能審計(jì)內(nèi)容

中國(guó)移動(dòng)北京公司（以下簡(jiǎn)稱(chēng)北京移動(dòng)）2020年開(kāi)展了IT系統(tǒng)需求開(kāi)發(fā)及使用效能審計(jì)調(diào)查項(xiàng)目，根據(jù)北京移動(dòng)IT系統(tǒng)管理特點(diǎn)，審計(jì)從系統(tǒng)建設(shè)項(xiàng)目全生命周期角度開(kāi)展，對(duì)項(xiàng)目立項(xiàng)、需求管理、開(kāi)發(fā)測(cè)試、系統(tǒng)運(yùn)行維護(hù)、費(fèi)用結(jié)算、系統(tǒng)應(yīng)用等環(huán)節(jié)重點(diǎn)把控，查找問(wèn)題風(fēng)險(xiǎn)點(diǎn)。

審計(jì)發(fā)現(xiàn)，在項(xiàng)目立項(xiàng)階段，對(duì)IT系統(tǒng)進(jìn)行宏觀(guān)規(guī)劃時(shí)，前期目標(biāo)考慮不充分，導(dǎo)致后期IT系統(tǒng)功能需求頻繁變更，造成系統(tǒng)開(kāi)發(fā)投入資金的浪費(fèi)。因此，在項(xiàng)目立項(xiàng)前期應(yīng)對(duì)IT系統(tǒng)功能建設(shè)的必要性、建設(shè)內(nèi)容、建設(shè)規(guī)模、建設(shè)方案、進(jìn)度安排、風(fēng)險(xiǎn)分析、配套等相關(guān)內(nèi)容進(jìn)行充分的可行性研究，從公司發(fā)展戰(zhàn)略、長(zhǎng)遠(yuǎn)目標(biāo)、業(yè)務(wù)時(shí)限需求等方面進(jìn)行評(píng)估和決策。

在需求管理方面，存在項(xiàng)目最終交付成果與立項(xiàng)內(nèi)容不一致情況，經(jīng)審查是由于IT系統(tǒng)建設(shè)過(guò)程中存在未經(jīng)審批的項(xiàng)目變更導(dǎo)致。需求隨意變更，可能導(dǎo)致項(xiàng)目實(shí)際執(zhí)行偏離立項(xiàng)目標(biāo)，存在影響項(xiàng)目投資效益風(fēng)險(xiǎn)。在項(xiàng)目任務(wù)書(shū)下達(dá)后，如果涉及項(xiàng)目建設(shè)內(nèi)容、建設(shè)規(guī)模、投資及進(jìn)度等的變更，應(yīng)及時(shí)提出變更申請(qǐng)并經(jīng)相應(yīng)層級(jí)審批。

在開(kāi)發(fā)測(cè)試階段，未充分考慮系統(tǒng)程序架構(gòu)、安全等問(wèn)題，且測(cè)試不夠全面、完整，造成系統(tǒng)由于存在功能缺陷或安全漏洞等問(wèn)題而下線(xiàn)，影響正常生產(chǎn)并造成投資損失。在系統(tǒng)立項(xiàng)及建設(shè)過(guò)程中，應(yīng)充分考慮系統(tǒng)安全相關(guān)規(guī)定、指標(biāo)，確保符合系統(tǒng)安全規(guī)定。

在系統(tǒng)運(yùn)行維護(hù)階段，存在系統(tǒng)功能模塊上線(xiàn)、下線(xiàn)未及時(shí)發(fā)布通知，系統(tǒng)賬號(hào)管理粗放，功能模塊零使用率等問(wèn)題，從應(yīng)用維護(hù)角度反映出系統(tǒng)的使用情況。

在費(fèi)用結(jié)算環(huán)節(jié)，工作量評(píng)估不合理、不嚴(yán)謹(jǐn)，導(dǎo)致需求工作量評(píng)估過(guò)高，對(duì)需求排期造成浪費(fèi)，結(jié)算過(guò)多的人天工作量給公司帶來(lái)一定的經(jīng)濟(jì)損失。應(yīng)建立工作量評(píng)估模型，合理評(píng)估需求工作量，提升系統(tǒng)投資效益。

本次審計(jì)還通過(guò)線(xiàn)上調(diào)查問(wèn)卷的形式，對(duì)系統(tǒng)的使用效果、使用頻率、用戶(hù)滿(mǎn)意度等方面進(jìn)行調(diào)研，多渠道收集信息資料，為搭建系統(tǒng)效能評(píng)估模型提供充分依據(jù)。

二、IT系統(tǒng)效能評(píng)估模型探索

北京移動(dòng)結(jié)合層次分析法將決策問(wèn)題分為目標(biāo)層、準(zhǔn)則層和方案層，同時(shí)參考D&M模型中的信息質(zhì)量、系統(tǒng)質(zhì)量、服務(wù)質(zhì)量、使用意愿、用戶(hù)滿(mǎn)意、凈收益等因素，分析IT系統(tǒng)需求開(kāi)發(fā)及使用效能審計(jì)項(xiàng)目成果及其對(duì)公司的影響程度，對(duì)系統(tǒng)效能評(píng)估模型進(jìn)行探索，最終確定IT系統(tǒng)效能評(píng)估模型。

IT系統(tǒng)效能評(píng)估模型分為5個(gè)維度，分別為目標(biāo)評(píng)價(jià)維度、能力評(píng)價(jià)維度、效益評(píng)價(jià)維度、影響評(píng)價(jià)維度、持續(xù)性評(píng)價(jià)維度。每個(gè)維度由不同的指標(biāo)共同進(jìn)行評(píng)估，并根據(jù)企業(yè)實(shí)際情況設(shè)定指標(biāo)評(píng)分依據(jù)及指標(biāo)權(quán)重。

（一）系統(tǒng)效能評(píng)估模型架構(gòu)

1.目標(biāo)評(píng)價(jià)維度。包括制定合理性、戰(zhàn)略一致性和實(shí)施時(shí)效性指標(biāo)，共同評(píng)估IT系統(tǒng)建設(shè)項(xiàng)目的目標(biāo)完成情況。制定合理性主要評(píng)估目標(biāo)制定及項(xiàng)目立項(xiàng)的合理性。戰(zhàn)略一致性主要評(píng)估IT系統(tǒng)建設(shè)項(xiàng)目立項(xiàng)是否符合公司發(fā)展前景或集團(tuán)要求。實(shí)施時(shí)效性主要評(píng)估IT系統(tǒng)建設(shè)項(xiàng)目竣工完成的及時(shí)性。

2.能力評(píng)價(jià)維度。包括系統(tǒng)功能能力、系統(tǒng)運(yùn)行能力和系統(tǒng)安全能力指標(biāo)。系統(tǒng)功能能力主要評(píng)估IT系統(tǒng)建設(shè)項(xiàng)目竣工后，系統(tǒng)實(shí)際功能點(diǎn)完成度能否覆蓋全部立項(xiàng)需求。系統(tǒng)運(yùn)行能力主要評(píng)估系統(tǒng)在運(yùn)行過(guò)程中的性能能否滿(mǎn)足運(yùn)行要求。通過(guò)系統(tǒng)性能評(píng)估、缺陷記錄等查看是否對(duì)項(xiàng)目中功能點(diǎn)提出了缺陷修復(fù)需求，同時(shí)結(jié)合系統(tǒng)定期運(yùn)行情況通報(bào)數(shù)據(jù)及日常運(yùn)維需求進(jìn)行綜合判定。系統(tǒng)安全能力主要評(píng)估系統(tǒng)運(yùn)行過(guò)程中的安全能力能否滿(mǎn)足公司要求。結(jié)合網(wǎng)絡(luò)與信息安全管理部門(mén)系統(tǒng)安全等級(jí)評(píng)判以及系統(tǒng)漏洞掃描記錄，對(duì)系統(tǒng)的安全能力進(jìn)行評(píng)判。

3.效益評(píng)價(jià)維度。包括系統(tǒng)開(kāi)發(fā)效益和系統(tǒng)運(yùn)維效益評(píng)估指標(biāo)，共同評(píng)估IT系統(tǒng)建設(shè)過(guò)程及建設(shè)后為企業(yè)帶來(lái)的效益。系統(tǒng)開(kāi)發(fā)效益主要評(píng)估開(kāi)發(fā)成本的合理性，查看人天價(jià)格是否合理、功能點(diǎn)人天工作量評(píng)估是否合理、評(píng)估開(kāi)發(fā)過(guò)程中成本花費(fèi)是否合理。系統(tǒng)運(yùn)維效益主要評(píng)估項(xiàng)目功能點(diǎn)開(kāi)發(fā)后帶來(lái)的收益或提升的工作效率。

4.影響評(píng)價(jià)維度。包括內(nèi)部流程影響和用戶(hù)滿(mǎn)意度影響指標(biāo)。內(nèi)部流程影響主要評(píng)估系統(tǒng)建設(shè)或優(yōu)化后對(duì)公司內(nèi)部業(yè)務(wù)流程的影響。向系統(tǒng)使用部門(mén)發(fā)放調(diào)查問(wèn)卷，問(wèn)卷中設(shè)定項(xiàng)目功能點(diǎn)開(kāi)發(fā)前及開(kāi)發(fā)后的流程影響評(píng)分，收集反饋并進(jìn)行統(tǒng)計(jì)評(píng)判。用戶(hù)滿(mǎn)意度影響主要評(píng)估系統(tǒng)用戶(hù)對(duì)系統(tǒng)的滿(mǎn)意度情況，調(diào)查問(wèn)卷中設(shè)定客戶(hù)滿(mǎn)意度等級(jí)，收集用戶(hù)人員的反饋并進(jìn)行統(tǒng)計(jì)評(píng)判。

5.持續(xù)性評(píng)價(jià)維度。包括系統(tǒng)點(diǎn)擊率與賬號(hào)活躍度兩個(gè)指標(biāo)。系統(tǒng)點(diǎn)擊率主要評(píng)估系統(tǒng)功能的使用情況。定期統(tǒng)計(jì)系統(tǒng)使用率，查看系統(tǒng)功能點(diǎn)上線(xiàn)后的使用情況（點(diǎn)擊率），結(jié)合該項(xiàng)目下所有功能點(diǎn)的點(diǎn)擊率進(jìn)行線(xiàn)性評(píng)分。賬號(hào)活躍度主要評(píng)估系統(tǒng)賬號(hào)的活躍程度。

（二）模型評(píng)分依據(jù)及指標(biāo)權(quán)重

為使系統(tǒng)效能評(píng)估結(jié)果更準(zhǔn)確、更貼合公司管理現(xiàn)狀，北京移動(dòng)通過(guò)對(duì)系統(tǒng)進(jìn)行全量數(shù)據(jù)分析，對(duì)抽樣數(shù)據(jù)進(jìn)行重點(diǎn)審核，采用數(shù)據(jù)分析及概率統(tǒng)計(jì)的方法，確定本系統(tǒng)效能評(píng)估模型的評(píng)分依據(jù)及指標(biāo)權(quán)重（見(jiàn)表1）。

三、系統(tǒng)效能評(píng)估實(shí)例展示

北京移動(dòng)以某項(xiàng)目管理系統(tǒng)及2017年擴(kuò)容項(xiàng)目二階段工程為例，通過(guò)資料審閱、問(wèn)卷調(diào)查、數(shù)據(jù)收集與分析，參照系統(tǒng)效能評(píng)估模型，對(duì)該系統(tǒng)進(jìn)行系統(tǒng)效能評(píng)估，評(píng)估得分結(jié)果見(jiàn)表2和圖1。

從某項(xiàng)目管理系統(tǒng)評(píng)估結(jié)果可以看出，該系統(tǒng)整體得分偏低，短板主要集中在效益評(píng)價(jià)維度和持續(xù)性評(píng)價(jià)維度方面。

為驗(yàn)證該模型的評(píng)估效果，北京移動(dòng)還抽取了除該系統(tǒng)之外的8個(gè)系統(tǒng)進(jìn)行評(píng)估，評(píng)估結(jié)果見(jiàn)表3。

通過(guò)對(duì)9個(gè)系統(tǒng)效能評(píng)估結(jié)果進(jìn)行分析對(duì)比，系統(tǒng)效能評(píng)估平均分為70.23分，其中5個(gè)系統(tǒng)評(píng)分超過(guò)平均分，4個(gè)系統(tǒng)低于平均分，根據(jù)系統(tǒng)評(píng)估結(jié)果的分布情況來(lái)看，該模型評(píng)估效果具備可參考價(jià)值。

四、結(jié)束語(yǔ)

北京移動(dòng)以拓寬審計(jì)成果實(shí)踐應(yīng)用范圍、提高審計(jì)成果轉(zhuǎn)化率為目標(biāo)，本著審計(jì)價(jià)值利用最大化的原則，運(yùn)用信息系統(tǒng)審計(jì)項(xiàng)目成果對(duì)IT系統(tǒng)效能評(píng)估模型進(jìn)行探索。通過(guò)系統(tǒng)不同維度的得分結(jié)果，清晰得出系統(tǒng)建設(shè)項(xiàng)目存在的短板并分析原因，為后續(xù)系統(tǒng)建設(shè)項(xiàng)目投資立項(xiàng)及決策提供參考。不同企業(yè)可根據(jù)自身實(shí)際情況，調(diào)整模型指標(biāo)打分依據(jù)及權(quán)重，為企業(yè)系統(tǒng)信息化評(píng)估提供思路，以審計(jì)之力助企業(yè)健康發(fā)展，最大限度發(fā)揮內(nèi)部審計(jì)價(jià)值。

（作者單位：中國(guó)移動(dòng)通信集團(tuán)北京有限公司，郵政

編碼：100007，電子郵箱：wang_ying2@bj.chinamobile.com）