構(gòu)建國家開放大學信息化評價體系

文/孫雨 鮑赟力 王楠

隨著信息技術(shù)不斷發(fā)展，信息技術(shù)已滲透到各行各業(yè)，并產(chǎn)生重大影響，尤其近幾年對教育行業(yè)的影響日益凸顯。國家開放大學作為一所技術(shù)與教育深度融合的新型大學，不斷探索新技術(shù)在教育行業(yè)的應用。近年來，國家開放大學不斷探索云平臺、云教室以及學習平臺等各種信息化項目的建設，每年投入信息化項目建設的費用預算占比逐年增大。經(jīng)過多年信息化項目的建設和開展驗收試用，收集用戶對驗收后平臺使用意見，雖然國家開放大學一直在探索研究信息化項目立項和驗收的流程規(guī)范并落地，但隨著學校信息化建設項目規(guī)模日漸增大，項目的建設進度、項目質(zhì)量難以滿足實際業(yè)務需要。

信息化項目出現(xiàn)進度、質(zhì)量和成本等問題是各單位信息化項目管理發(fā)展歷程中必然階段。項目存在延期交付、預算超支或質(zhì)量不達標的情況，分析其原因發(fā)現(xiàn)，70%項目失敗不是技術(shù)問題造成的，而是項目管理不到位引起。國家開放大學在信息化項目建設過程中同樣存在項目延誤、項目質(zhì)量難以達到用戶滿意以及成本失控等項目管理的諸多問題。

信息化項目進度、質(zhì)量、成本和建設內(nèi)容等在項目推進中存在的問題，究其原因主要是是信息化建設項目推進過程中缺乏過程監(jiān)控與評價。探索研究建設評價體系，強化項目管理，規(guī)范項目推進工作，總結(jié)項目經(jīng)驗，提升項目取得成效。通過建立評價體系，不僅能夠改善當前信息化項目進度、質(zhì)量和進度不可控的問題，減少項目需求頻繁變更。信息化項目評價從項目的可行性分析到最終交付的全過程評價，既包括研究項目本身可行性分析，也包括分析項目建設的發(fā)展意義和戰(zhàn)略的價值。

體系的價值與意義

信息化項目管理為保證項目能夠按照客戶預期交付，而針對進度、質(zhì)量、成本等方面進行的管理與控制。設計國家開放大學信息化項目評價體系的主要目標是規(guī)范項目管理、加強項目過程控制、提升項目質(zhì)量，保證信息化項目保質(zhì)、按時、按需完成。評價指標體系的價值與意義：

1.縮短信息化項目工期

分析項目工期延長原因，改善工期延長的現(xiàn)狀，針對項目進度設立合理的進度評價指標。監(jiān)控跟蹤項目完成情況，對比項目計劃之間，按照項目里程碑分析項目推進落實計劃情況，及時規(guī)避延期的風險。不斷分析總結(jié)信息化項目進度評價數(shù)據(jù)，實現(xiàn)縮短項目工期。

2.提升信息化項目質(zhì)量

通過建立信息化項目質(zhì)量評價指標，及時了解信息化項目存在的質(zhì)量缺陷，分析、識別項目存在的質(zhì)量風險。如信息化項目出現(xiàn)偏離質(zhì)量指標要求，進行風險防控，有助于項目質(zhì)量的改善、提升。

3.加強信息化項目成本控制

建立信息化項目成本評價指標，分析信息化項目經(jīng)濟可行性、預算及實際費用進行分析，根據(jù)分析結(jié)果對項目成本進行相應調(diào)整，項目推進中有效控制成本，建立項目成員的項目成本意識，嚴格按照項目預算支出項目的成本費用。

通過建立信息化項目評價指標體系，反映信息化項目建設需求、進度、成本及質(zhì)量等各個要素之間相互聯(lián)系、相互制約的指標，用來檢查、監(jiān)督信息化項目建設情況。構(gòu)建信息化項目評價指標體系，對信息化項目進行多維度考核評價，并根據(jù)評價情況總結(jié)項目建設經(jīng)驗，分析不足，提出改進意見，進一步做好信息化項目管理。建立信息化項目評價指標體系，需采用簡單易行、可用、好用的評價方法，對信息化項目進行科學合理的評價，以便于項目評價體系的采納和推廣應用，切實促進學校信息化項目工作高效有序推進。

設計原則

信息化項目評價體系設計與實現(xiàn)需統(tǒng)籌考慮項目推進過程中的人為主觀因素以及已有技術(shù)條件和環(huán)境等客觀因素，從定性與定量兩方面科學嚴謹進行評價信息化項目。建設項目平臺指標體系，遵循科學、可操作和可評價等設計原則。為使國家開放大學信息化項目評價系統(tǒng)能夠全面、客觀、科學地衡量和評價項目，在研究和設計評價指標體系時，應遵循以下原則。

1.整體性原則

項目管理中十個重要管理方面，其中進度、成本、質(zhì)量是最為重要的三個方面，其相互制約，不能孤立、片面進行考量，單一評價任何一個方面都是片面的、不科學。單一控制項目進度，而不考慮項目的成本與質(zhì)量，往往容易造成項目雖然按期完成，但是項目成本超支嚴重，項目質(zhì)量難以達標等問題。信息化項目評價整體統(tǒng)籌設計、系統(tǒng)考量，使評價體系設計更合理，避免顧己失彼。

圖1 信息化項目評價指標體系

2.科學性原則

評價指標體系在設計理論、方法和指標等方面均體現(xiàn)科學性，在評價指標的構(gòu)建理論參考項目管理理論知識，考慮評價指標的科學合理性，指標體系細分避免重復和交疊，具體指標的定義避免二義性，獨立而不沖突，能夠科學真實評價信息化項目整體情況。

3.可操作性原則

評價體系具有可操作性才存在設計的價值和意義。可操作性要求評價指標定義易懂、簡單而不繁瑣，從實際出發(fā)，可切實指導信息化項目。評價指標簡單要求而不繁瑣，過于簡單達不到評價的意義，而過于繁瑣會讓評價指標流于紙面難于應用。信息化項目指標設計既要考慮設計的可行性，更為重要考慮指標的可操作性。

體系的構(gòu)建

1.設計思路

梳理信息化項目推進中存在的問題，針對項目管理中的建設內(nèi)容、進度、質(zhì)量和成本等核心要素建立評價體系。構(gòu)建國家開放大學信息化項目評價體系，逐步確定評價范圍、構(gòu)建評價指標以及確定指標數(shù)據(jù)源：確定評價范圍，包括項目評價階段、領(lǐng)域等整體評價范圍；構(gòu)建評價指標，針對信息化項目建設內(nèi)容、進度、成本、質(zhì)量等評價內(nèi)容設立相應的考核指標，并保證各個評價指標可考核、可度量，能夠客觀對信息化項目進行客觀評價。針對評價指標的數(shù)據(jù)源進行分析與確定，保證信息化項目執(zhí)行過程中評價數(shù)據(jù)源的有效獲取與收集。

2.指標內(nèi)容

依據(jù)信息化項目評價指標體系的設計原則，結(jié)合國家開放大學信息化項目現(xiàn)狀進行分析研究，嘗試提出信息化項目評價指標體系。該體系自頂向下劃分為指標項分層劃分三層:頂層稱為目標層，第二層稱為準則層，第三層稱為指標層，具體如圖1所示。

體系的準則層由項目范圍、項目進度、項目成本、項目質(zhì)量和項目團隊五個準則指標構(gòu)成，每個準則內(nèi)容又由具體指標項構(gòu)成。指標體系中各指標具有含義及評價內(nèi)容。

項目范圍是項目整個建設的內(nèi)容，由四個指標組成，其具體的評價內(nèi)容為：可研分析是評價項目是否進行可行性研究以及可研報告完成的內(nèi)容是否完整、可研報告是否進行專家論證；需求分析是項目是按照項目需求要求進行分析、是否有需求分析報告、需求分析報告內(nèi)容是否完整、準確以及需求分析是否經(jīng)過需求評審等內(nèi)容；項目設計是項目是否按照需求分析報告進行概要設計和詳細設計、設計是否合理可行以及設計是否通過評審等；控制范圍是項目是否進行需求確認、項目范圍是否進行變更管理以及項目是否防止需求蔓延等。

項目進度是評價項目推進進度的完成情況，由四個指標組成，其具體的評價內(nèi)容為：項目立項是評價項目是否符合立項要求、是否進行立項審批以及立項審批具體意見進行完善；項目執(zhí)行是項目是否按照項目計劃執(zhí)行、完成相應的階段性工作要求；項目驗收時評價項目是否開展相應的驗收組織、是否邀請業(yè)務部門參與驗收以及驗收材料是否完整等；控制進度是評價是否對項目進度出現(xiàn)的問題采取有效的措施、是否進行進度風險分析和控制。

項目成本是評價項目推進成本的完成情況，由四個指標組成，其具體的評價內(nèi)容為：項目預算是評價項目是否進行項目預算申請、是否通過預算審批；項目估算是評價項目是否按照需求進行詢價、是否進行項目費用估算以及估算結(jié)果是否合理；項目結(jié)算是評價項目是否及時進行項目費用的結(jié)算、項目費用結(jié)算是否準確無誤；控制成本是評價項目是否按照預算費用、費用增加是否進過變更審批流程、增加費用是否在合理范圍等。

項目質(zhì)量是評價項目推進以及項目產(chǎn)品完成情況，由三個指標組成，其具體的評價內(nèi)容為：管理質(zhì)量是評價整個項目推進過程管理水平如何；功能質(zhì)量是評價項目產(chǎn)品是否滿足功能要求；性能質(zhì)量是評價項目產(chǎn)品是否滿足安全性要求、可靠性要求、可維護性要求以及快速訪問要求等。

項目團隊是評價項目推進中項目團隊人員情況，由三個指標組成，其具體的評價內(nèi)容為：團隊組建是評價項目是否安排合適的人員到項目中、項目人員是否都及時按需到位、人員是否承擔項目的工作；團隊建設是評價是否開展團隊管理提高團隊效率、是否開展相應的培訓提高團隊人員工作能力；項目溝通是評價項目團隊成員之間是否建立溝通機制、項目匯報是否有明確的方式和要求、項目成員之間溝通是否暢通。

2.權(quán)重分配

信息化項目評價指標涉及項目內(nèi)容、成本、質(zhì)量和進度等多方面，評價指標因素涉及定量和定性兩方面的數(shù)據(jù)來源。指標體系中各個指標的權(quán)重系數(shù)是設計項目評價指標體系的重要組成部分，設計權(quán)重系數(shù)是設計項目評價指標體系的重要環(huán)節(jié)。結(jié)合信息化項目涉及定性和定量雙重因素，其指標權(quán)重分配采取層次分析法(AHP：The analytic hierarchy process)。層次分析法是上個世紀美國薩蒂教授提出的一種權(quán)重決策方法，被廣泛應用到評價方法中。

（1）構(gòu)建判斷矩陣

薩蒂教授對層析分析法中兩兩元素對比重要程度劃分了9個標度，根據(jù)標度構(gòu)建指標元素的判斷矩陣，即指標i對比指標j的標度為判斷矩陣aij值。層次分析法按指標因素的重要性9個標度詳見表1。

表1 層次分析法標度及含義

通過德爾菲法確定每個元素之間的比較系數(shù)。德爾菲法（Delphi method），別名專家意見法。在項目評價的過程中，確定專家小組，指定調(diào)查問卷，各專家間避免相互干擾，采用背對背評價的方式，各自提交專家意見。組織者匯總統(tǒng)計專家意見，調(diào)整形成新一輪調(diào)查問卷，再次征集專家意見。通過多輪調(diào)查、反饋，使每位專家能夠給出相似的結(jié)論，并進行匯總。因為專家為獨立評價，因此，德爾菲法可充分采納個人的意見，能夠有效規(guī)避被調(diào)查人之間相互的影響。

采用德爾菲法，設計信息化項目評價指標重要性調(diào)查問卷，聘請校內(nèi)外信息化相關(guān)專家對指標的重要性進行打分，專家數(shù)量必須為單數(shù)，不宜人數(shù)太少，以9位或11位專家為宜。匯總專家打分情況，并對專家打分加權(quán)平均，逐一兩兩對比指標的重要性，分別構(gòu)建評價體系的各層判斷矩陣。

表2 判斷矩陣A 及其相對權(quán)重向量

表3 判斷矩陣B1 及其相對權(quán)重向量

表4 判斷矩陣B2 及其相對權(quán)重向量

表5 判斷矩陣B3 及其相對權(quán)重向量

表6 判斷矩陣B4 及其相對權(quán)重向量

表7 判斷矩陣B5及其相對權(quán)重向量

（2）計算判斷矩陣權(quán)重

評價指標體系各層的判斷矩陣權(quán)重系數(shù)借助Excel自帶函數(shù)計算得出，分別利用Product函數(shù)、Power函數(shù)計算出判斷矩陣“按行相乘”、“開n次方”兩個值，用“開n次方”除以所有“開n次方”之和得出“權(quán)重Wm,n”，“權(quán)重Wm,n”所在矩陣行與權(quán)重列分別相乘之積為“AWm,n”，“權(quán)重Wm,n”除以“AWm,n”之商為“Awm,n/Wm,n”。逐一得出判斷矩陣及權(quán)重向量，具體參數(shù)分別見表2～7。

表8 隨機一致性指標R I

表9 判斷矩陣一致性檢驗結(jié)果

表10 信息化項目評價指標體權(quán)重分配

（3）判斷矩陣的一致性檢驗

國家開放大學信息化項目種類多，項目評價體系指標涉及面廣泛，雖然在構(gòu)建判斷矩陣的賦值中采用德爾菲專家意見法進行加權(quán)平均，減少不少人為因素干預，仍不可避免在判斷矩陣的評價指標重要性的判斷上存在一些偏差。根據(jù)層次分析法推算步驟要求，需對判斷矩陣進行一次性檢驗，以判斷權(quán)重分配的合理性。根據(jù)判斷矩陣Awm,n/Wm,n的平均值（λmax：最大特征根），利用CI=(λmax-n)/(n-1) 公式中計算一致性參數(shù)CI。當CI=0時，判斷矩陣具有完全一致性，而CI 越小，矩陣的一致性越好，反之越差。

進一步判斷一致性參數(shù)是否在合理滿意的范圍，通過一致性比率進行檢驗。通過CR= CI/ RI公式計算出一致性比率CR，其中RI為平均隨機一致性指標，表8給給出了平均隨機一致性指標RI 的值。通過CR值檢驗判斷矩陣一致性是否在接受合理范圍內(nèi)，當CR＜ 0. 1 時，具有滿意合理的一致性，判斷矩陣合理可接受，否則需對判斷矩陣進行重新賦值推導。

根據(jù)CR計算公式以及各個判斷矩陣的CI值，分別計算每個判斷矩陣的CR值。從表9看出計算結(jié)果CR值均小于0.1，判斷矩陣具有合理的一致性要求，表明信息化項目指標表體系設計過程邏輯正確，設計指標參數(shù)合理有效。

根據(jù)表2～7計算各層的權(quán)重值，計算出各指標合成權(quán)重，并將合成權(quán)重轉(zhuǎn)化為百分制，以方便用于評價信息化項目。利用層次分析法推導得出國家開放大學信息化項目評價體系各指標和權(quán)重，見表10。

國家開放大學雖已規(guī)范信息化項目建設及運維，起草信息化項目管理規(guī)范、流程和工具。但是，規(guī)范制度是否執(zhí)行落地，以及執(zhí)行是否到位需要監(jiān)督評價機制。通過剖析國家開放大學信息化項目中的問題，避免歷史問題重蹈覆轍，以項目管理中范圍、進度、成本和質(zhì)量四個項目管理核心要素以及項目團隊因素，基于定性和定量的分析方式，采取層次分析法形成國家開放大學信息化項目評價指標體系，期望以體系評價促使信息化項目建設逐步趨勢形成“多、快、好、省”的理想狀態(tài)：高質(zhì)量、高效率、低成本超額完成項目。信息化項目評價指標體系側(cè)重在項目執(zhí)行和后期評價，做好信息化項目需調(diào)動項目關(guān)系人的積極性、規(guī)防項目風險等諸多方面的探索研究。