基于用戶視角的教學(xué)管理信息化建設(shè)績效評價(jià)

黃波 朱昌平 黃健元 李峰

摘要：教學(xué)管理信息化建設(shè)是高校數(shù)字化校園建設(shè)的重要組成部分，作為建設(shè)對象的教學(xué)管理信息系統(tǒng)是師生使用最頻繁、登錄人數(shù)最多、涉及面最廣的教學(xué)管理業(yè)務(wù)平臺，體現(xiàn)了高校教學(xué)管理信息化水平。在教學(xué)管理信息化建設(shè)的立項(xiàng)招標(biāo)、實(shí)施管理、結(jié)項(xiàng)驗(yàn)收、升級維護(hù)等各個(gè)環(huán)節(jié)，如何控制風(fēng)險(xiǎn)，提高效率，實(shí)現(xiàn)建設(shè)項(xiàng)目綜合績效最大化，是用戶最關(guān)切的問題。運(yùn)用層次分析法，從用戶視角構(gòu)建了教學(xué)管理信息化建設(shè)績效評價(jià)指標(biāo)體系，建立了綜合績效評價(jià)模型，分析了教學(xué)管理信息化建設(shè)績效評價(jià)結(jié)果。通過對教學(xué)管理信息系統(tǒng)立項(xiàng)招標(biāo)階段的績效評價(jià)案例應(yīng)用分析，表明該指標(biāo)體系和評價(jià)模型在教學(xué)管理信息化建設(shè)績效評價(jià)過程中簡單易行，可靠有效。該評價(jià)指標(biāo)體系和模型為高校在教學(xué)管理信息化建設(shè)過程中實(shí)現(xiàn)風(fēng)險(xiǎn)控制、進(jìn)行綜合績效評價(jià)和科學(xué)決策提供了理論依據(jù)。

關(guān)鍵詞：教學(xué)管理信息化；績效評價(jià)；教學(xué)管理信息系統(tǒng)；層次分析法

中圖分類號：CJ434

文獻(xiàn)標(biāo)識碼：A

2018年4月教育部發(fā)布的《教育信息化2.0行動(dòng)計(jì)劃》中指出， “完善教育管理信息化頂層設(shè)計(jì)” “提高教育管理信息化水平” “優(yōu)化教育業(yè)務(wù)管理信息系統(tǒng)，深化教育大數(shù)據(jù)應(yīng)用，全面提升教育管理信息化支撐教育業(yè)務(wù)管理、政務(wù)服務(wù)、教學(xué)管理等工作的能力”。中國電化教育事業(yè)奠基人南國農(nóng)先生早在2002年就指出，教育管理信息化建設(shè)是我國教育信息化建設(shè)的三大領(lǐng)域之一，主要任務(wù)是建立和完善學(xué)校教育管理信息系統(tǒng)，實(shí)現(xiàn)各級教育管理目標(biāo)[1]。在《教育信息化2.0行動(dòng)計(jì)劃》中，將教育管理信息化作為“教育治理能力優(yōu)化行動(dòng)”的主要內(nèi)容，體現(xiàn)了新時(shí)代教育管理信息化對提升高校教育管理水平、提高綜合治理能力、促進(jìn)教育現(xiàn)代化的重要作用。

眾所周知，教學(xué)管理是高校教育管理的重要部分，是進(jìn)行人才培養(yǎng)的主要管理職能。教學(xué)管理工作具有專業(yè)性強(qiáng)、數(shù)據(jù)量大、關(guān)聯(lián)度高和重復(fù)勞動(dòng)多等特點(diǎn)，早期的教學(xué)管理事務(wù)全部或部分依賴人工操作，隨著高校辦學(xué)規(guī)模的擴(kuò)大，教學(xué)管理要求的提高和教育教學(xué)改革的推進(jìn)，面對成倍增加的教學(xué)管理數(shù)據(jù)和信息，傳統(tǒng)的人工操作或低水平信息化管理模式，已無法實(shí)現(xiàn)教學(xué)管理大數(shù)據(jù)對教育教學(xué)改革的保障和決策作用。因此，從上世紀(jì)八十年代開始，信息技術(shù)（Information Technology）與教育教學(xué)開始融合，由最初的工具和手段，逐漸融入到人才培養(yǎng)和教育教學(xué)的全過程[2]。

教學(xué)管理信息化將高校教學(xué)管理人員從大量繁瑣、復(fù)雜的數(shù)據(jù)處理和報(bào)表展示等工作中解放出來，同時(shí)，通過教學(xué)管理數(shù)據(jù)挖掘?yàn)闆Q策層制訂政策提供參考和依據(jù)。相對其他業(yè)務(wù)管理，高校教學(xué)管理信息化建設(shè)具有周期長、環(huán)節(jié)多、與校內(nèi)其他業(yè)務(wù)系統(tǒng)對接和數(shù)據(jù)共享頻繁等特點(diǎn)，建設(shè)過程中容易出現(xiàn)業(yè)務(wù)功能無法實(shí)現(xiàn)，系統(tǒng)安全系數(shù)偏低，建設(shè)經(jīng)費(fèi)超預(yù)算等風(fēng)險(xiǎn)源[3]，因風(fēng)險(xiǎn)失控極易導(dǎo)致教學(xué)管理信息化項(xiàng)目建設(shè)任務(wù)無法按期完成、建設(shè)目標(biāo)無法全部實(shí)現(xiàn)、結(jié)項(xiàng)驗(yàn)收無限延期、售后服務(wù)沒有保障等問題。因此，科學(xué)有效的教學(xué)管理信息化建設(shè)績效評價(jià)，是管控建設(shè)風(fēng)險(xiǎn)、保障教學(xué)管理信息化可持續(xù)發(fā)展的基礎(chǔ)和前提。

國內(nèi)外大量的機(jī)構(gòu)和專家、學(xué)者對教育信息化評價(jià)的框架、方法和指標(biāo)進(jìn)行了研究，如世界銀行信息項(xiàng)目促進(jìn)發(fā)展項(xiàng)目組（infoDev）、聯(lián)合國教科文組織（UNESCO）、英國的學(xué)校信息化自我評估組織（The Self-review Framework.SRF）和美國的高校信息化項(xiàng)目組（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要針對教育信息化項(xiàng)目中的硬件設(shè)備、信息資源和發(fā)展階段模型等提出了評估辦法，其中美國高校信息化項(xiàng)目（CCP）的評價(jià)框架根據(jù)學(xué)校信息化建設(shè)的重點(diǎn)不同而適時(shí)調(diào)整。近年來，隨著國內(nèi)信息技術(shù)的發(fā)展，以及信息技術(shù)與教育教學(xué)的深度融合，教育信息化績效評價(jià)已成為當(dāng)前教育技術(shù)研究領(lǐng)域的前沿和熱點(diǎn)。國內(nèi)的教育信息化評價(jià)模型主要有“六要素模型”[7]、CIPO模型[8]和平衡記分卡模型[9]等。在評價(jià)指標(biāo)方面，聯(lián)合國教科文組織（UNESCO）應(yīng)用績效評價(jià)指標(biāo)，從定性和定量兩個(gè)方面、三個(gè)層次對世界各國教育信息化應(yīng)用情況的評價(jià)指標(biāo)進(jìn)行了分析，美國的STaR評估量表[10]、英國的SRF[11]分別從四個(gè)維度、六個(gè)要素對學(xué)校信息化進(jìn)行評價(jià)。國內(nèi)學(xué)者魏理豪（2014）[12]、謝幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分別從不同視角、多種維度，采用各種方法構(gòu)建了教育信息化建設(shè)和應(yīng)用績效評價(jià)的指標(biāo)體系。

根據(jù)信息化發(fā)展階段理論模型[16]，教學(xué)管理信息化是一個(gè)動(dòng)態(tài)的過程，一般可分為系統(tǒng)建設(shè)和系統(tǒng)應(yīng)用兩個(gè)階段。綜合文獻(xiàn)整理和調(diào)研情況發(fā)現(xiàn)，信息化績效評價(jià)是當(dāng)前信息化領(lǐng)域的研究熱點(diǎn)，但大部分研究成果都集中在信息系統(tǒng)的應(yīng)用績效評價(jià)上，對建設(shè)績效評價(jià)不多，專門針對教學(xué)管理信息化建設(shè)的績效評價(jià)研究極少。在評價(jià)指標(biāo)方面，大而全、宏觀層面的指標(biāo)體系居多，小而精、中（微）觀層面、針對性強(qiáng)的教學(xué)管理信息化建設(shè)績效評價(jià)指標(biāo)體系和模型缺乏。通常情況下，教學(xué)管理信息化建設(shè)常見的有三種模式：高校自主開發(fā)建設(shè)模式（簡稱“自主模式”）、軟件供應(yīng)商提供標(biāo)準(zhǔn)版教學(xué)管理信息系統(tǒng)模式（簡稱“標(biāo)準(zhǔn)模式”）和高校和軟件供應(yīng)商聯(lián)合建設(shè)模式（簡稱“共建模式”）。為找出影響教學(xué)管理信息化建設(shè)績效的主要因素和一般規(guī)律，通過對三種模式的利弊分析，選擇大部分高校采用的“共建模式”開展績效評價(jià)研究。

通過構(gòu)建教學(xué)管理信息化建設(shè)績效評價(jià)指標(biāo)體系和綜合評價(jià)模型，為用戶在教學(xué)管理信息化建設(shè)過程中實(shí)現(xiàn)風(fēng)險(xiǎn)控制、開展績效綜合評價(jià)和科學(xué)決策提供理論依據(jù)。

一、教學(xué)管理信息化建設(shè)績效評價(jià)的內(nèi)涵及特點(diǎn)

（一）績效評價(jià)與教學(xué)管理信息化績效評價(jià)

績效評價(jià)（Performance Measurement.PM）的概念最早源自西方工業(yè)社會，指基于目標(biāo)對過程、結(jié)果的評判與衡量。在管理學(xué)中，績效評價(jià)的過程為：根據(jù)評價(jià)指標(biāo)體系，綜合運(yùn)用數(shù)理方法，開展定性定量分析，對過程和效果作出綜合評判[17]。新時(shí)代教育信息化的內(nèi)涵是，將信息技術(shù)作為教育系統(tǒng)性變革的內(nèi)生力量，促進(jìn)信息技術(shù)與教育深度融合，推動(dòng)教育現(xiàn)代化發(fā)展。教學(xué)管理信息化建設(shè)是教育信息化建設(shè)的組成部分，與教學(xué)管理信息化應(yīng)用共同組成教學(xué)管理教育信息化的主要內(nèi)容。教學(xué)管理信息化建設(shè)績效評價(jià)是指，信息技術(shù)與教學(xué)管理深度融合過程中，借助于教學(xué)管理信息化建設(shè)績效評價(jià)指標(biāo)體系，對建設(shè)實(shí)施過程中所產(chǎn)生的效益進(jìn)行客觀、公正和準(zhǔn)確的綜合評判。

根據(jù)層次分析法建模原則，在調(diào)研和專家打分的基礎(chǔ)上，依次得到準(zhǔn)則層，以及“系統(tǒng)性能”“服務(wù)質(zhì)量”“經(jīng)濟(jì)因素”的一致性檢驗(yàn)情況（如表2所示）。

再次，進(jìn)行層次單排序。在本評價(jià)指標(biāo)體系中，即為計(jì)算3個(gè)一級指標(biāo)Bl，B2，B3對總目標(biāo)A重要性次序的權(quán)值，以及7個(gè)二級指標(biāo)Bll，B12，…，B17對一級指標(biāo)Bl，5個(gè)二級指標(biāo)級B21，B22，…，B25對一級指標(biāo)B2，4個(gè)二級指標(biāo)級B31，B32，…，B34對一級指標(biāo)B3重要性次序的權(quán)值。

最后，進(jìn)行層次總排序。通過上述從上到下的逐層計(jì)算，已得出相鄰兩層中下層對上層的相對重要性排序值，通過公式3構(gòu)建的綜合績效評價(jià)模型，可計(jì)算出二級指標(biāo)B_ij二級對于總目標(biāo)A的相對重要性總排序（如表3所示）。

公式3中，Wi為Bi對應(yīng)的相對權(quán)重，Wij為Bi中第j個(gè)評價(jià)指標(biāo)Cij對應(yīng)的相對權(quán)重。

（五）結(jié)果分析

從教學(xué)管理信息化建設(shè)績效評價(jià)的指標(biāo)體系二級指標(biāo)對總目標(biāo)的合成權(quán)重及排序結(jié)果可以看出：

通過層次總排序可看出，在一級指標(biāo)中， “系統(tǒng)性能B1”和“服務(wù)質(zhì)量B2”所占權(quán)重遠(yuǎn)超“經(jīng)濟(jì)因素B3”，說明隨著高校對信息化工作的重視，愿意加大信息化建設(shè)投入。同時(shí)，各信息化建設(shè)單位，對教學(xué)管理信息系統(tǒng)的性能、軟件供應(yīng)商的服務(wù)質(zhì)量提出了更高要求，要求軟件供應(yīng)商提供性能更優(yōu)越、服務(wù)質(zhì)量更高的教學(xué)管理信息化產(chǎn)品。

排序前50%的二級指標(biāo)依次為“系統(tǒng)架構(gòu)Cll” “固定技服C25” “響應(yīng)時(shí)間C21” “數(shù)據(jù)并發(fā)C12”“報(bào)價(jià)總額C31”“開發(fā)方式C22”“系統(tǒng)安全C13”和“用戶體驗(yàn)C14”，權(quán)重之和達(dá)總權(quán)重的84%，說明在教學(xué)管理信息化建設(shè)中，這些因素是影響教學(xué)管理信息化建設(shè)效果的核心因素，用戶應(yīng)重點(diǎn)關(guān)注，并采取必要的措施降低建設(shè)風(fēng)險(xiǎn)，提高建設(shè)效率。

排序后50%的指標(biāo)為影響教學(xué)管理信息化建設(shè)效果的主要因素，是經(jīng)過調(diào)研、案例實(shí)踐和專家論證篩選出的，針對不同教學(xué)管理信息化建設(shè)項(xiàng)目或隨著技術(shù)進(jìn)步，有的指標(biāo)重要性將進(jìn)一步加強(qiáng)。如排序第11的“訂制功能C15”指標(biāo)，隨國家“雙一流”建設(shè)的實(shí)施，許多學(xué)校都相繼推出了“一流本科行動(dòng)計(jì)劃”或“一流人才培養(yǎng)計(jì)劃”，吹響了新一輪教育教學(xué)改革的號角，對高校教學(xué)管理信息化提出了新要求。為滿足這些新要求，標(biāo)準(zhǔn)版的教學(xué)管理信息系統(tǒng)功能必須進(jìn)行改進(jìn)、優(yōu)化甚至訂制開發(fā)，因此， “訂制功能C15”指標(biāo)重要性提升也是教學(xué)管理信息化發(fā)展的必然趨勢。

三、案例應(yīng)用與分析

H高校因信息化建設(shè)需要，需進(jìn)行新綜合教學(xué)管理信息系統(tǒng)立項(xiàng)建設(shè)，經(jīng)用戶前期市場調(diào)研、項(xiàng)目可行性分析等流程，現(xiàn)進(jìn)入軟件供應(yīng)商招標(biāo)采購環(huán)節(jié)，經(jīng)初步審核，共有3家軟件公司（A、B、C）符合應(yīng)標(biāo)條件。3家公司都是國內(nèi)知名的教育信息化軟件供應(yīng)商，在國內(nèi)市場占有較大份額，其中A公司是近幾年來發(fā)展迅猛的綜合性的教育信息化軟件供應(yīng)商，除教學(xué)管理信息系統(tǒng)外，業(yè)務(wù)范圍覆蓋數(shù)字化校園多個(gè)業(yè)務(wù)領(lǐng)域，B公司和C公司以教學(xué)管理信息軟件為主，有多年的教學(xué)管理信息系統(tǒng)研發(fā)經(jīng)驗(yàn)。招投標(biāo)之前，3家公司業(yè)務(wù)人員均向用戶介紹了各自研發(fā)的教學(xué)管理信息系統(tǒng)產(chǎn)品。招標(biāo)過程中，由用戶代表、信息化專家組成的招標(biāo)專家考評組，根據(jù)投標(biāo)文件及現(xiàn)場質(zhì)詢，對3家公司進(jìn)行了綜合測評。對每個(gè)指標(biāo)的評價(jià)分為5個(gè)等級，用“5分” “4分”“3分” “2分”“1分”分別對應(yīng)“好”“較好”“中等”“較差” “差”。由多名專家對每家公司的每個(gè)指標(biāo)進(jìn)行評分后取平均值。綜合評價(jià)得分為：

公式4中，F(xiàn)為該公司綜合得分，Wi為每個(gè)評價(jià)指標(biāo)對應(yīng)的權(quán)重，為專家對該評價(jià)指標(biāo)打分的平均值，n為評價(jià)指標(biāo)的數(shù)量。通過綜合評價(jià)可以看出，B公司的綜合績效評價(jià)得分高，建議B公司承擔(dān)該校的教學(xué)管理信息管理信息化建設(shè)（如表4所示）。

除了上述的立項(xiàng)招標(biāo)環(huán)節(jié)，在教學(xué)管理信息化建設(shè)實(shí)施、運(yùn)行管理、升級維護(hù)的各個(gè)環(huán)節(jié)，都可以參考此流程進(jìn)行績效綜合評價(jià)。在建設(shè)實(shí)施過程中，可以通過對照建設(shè)目標(biāo)和實(shí)施實(shí)況，進(jìn)行績效評估后控制項(xiàng)目的建設(shè)風(fēng)險(xiǎn)，改變項(xiàng)目尾款的支付方式和結(jié)項(xiàng)驗(yàn)收時(shí)間，提高項(xiàng)目建設(shè)效率。在運(yùn)行管理過程中，通過分析績效評價(jià)指標(biāo)體系中各指標(biāo)的權(quán)重值，明確項(xiàng)目運(yùn)行管理的重點(diǎn)，制訂有針對性的教學(xué)管理信息系統(tǒng)運(yùn)行管理方案。在教學(xué)管理信息系統(tǒng)升級維護(hù)等后續(xù)建設(shè)管理過程中，能參考教學(xué)管理信息化建設(shè)項(xiàng)目實(shí)際建設(shè)的績效評價(jià)情況，確定教學(xué)管理信息化升級維保單位。

四、結(jié)語

教學(xué)管理信息化建設(shè)伴隨著高校教育教學(xué)改革的不斷推進(jìn)，系統(tǒng)的架構(gòu)將越來越復(fù)雜，功能越來越繁多，與其他業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)共享和系統(tǒng)對接將是未來教學(xué)管理信息化發(fā)展的主流趨勢。從用戶視角對教學(xué)管理信息化建設(shè)階段的綜合績效評價(jià)構(gòu)建科學(xué)指標(biāo)體系和模型，可以實(shí)現(xiàn)建設(shè)過程中的風(fēng)險(xiǎn)控制和科學(xué)決策，對提高高校教學(xué)管理水平、保障教學(xué)改革順利進(jìn)行奠定了基礎(chǔ)。

參考文獻(xiàn)：

[1]南國農(nóng).教育信息化建設(shè)的幾個(gè)理論和實(shí)際問題（上）[J]電化教育研究，2002，（11）：3-6.

[2]王正青.唐曉玲.信息技術(shù)與教學(xué)深度融合的動(dòng)力邏輯與推進(jìn)路徑研究[J]電化教育研究，2017，（12）：59-65.

[3]餞冬明，羅安妮等.教育信息化項(xiàng)目風(fēng)險(xiǎn)評估指標(biāo)體系的構(gòu)建[J]中國電化教育，2017，（1）：94-100.

[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.

[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987.

[6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.

[7]呂新奎中國教育信息化[M].北京：電子工業(yè)出版社，2002.

[8]張進(jìn)寶.從“六要素模型”到“CIPO”模型：教育信息化研究思路的再審視[J].中國電化教育，2008，（10）：5-9.

[9]顧小清，林陽等.區(qū)域教育信息化效益評估模型構(gòu)建[J]中國電化教育，2007，（5）：23-27.

[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.

[11]王煒，黃黎兇.國內(nèi)外基礎(chǔ)教育信息化評估述評[J]中國信息技術(shù)教育，2008，（12）：13-15

[12]魏理豪，王甜等基于層次分析法的信息系統(tǒng)實(shí)用化評價(jià)研究[J]科技通報(bào)，2014，30（2）：143-146.

[13]謝幼如，常亞潔.績效導(dǎo)向的教育信息化評價(jià)模型的構(gòu)建[J]中國電化教育，2015，（1）：56-60.

[14]田生湖，姚建峰等.高校教育信息化治理績效評價(jià)研究[J]電化教育研究，2018，（3）：29-34.

[15]岳洪江，徐歡基于期望一滿意測評的高校信息系統(tǒng)績效評價(jià)研究[J]現(xiàn)代情報(bào)，2016，36（7）：51-57.

[16]張聰.高校教育信息化評估的成熟度模型建構(gòu)及其應(yīng)用研究——以河南省高校為例[D]上海：上海外圍語大學(xué)，2017.

[17]楊杰，方俐洛等.關(guān)丁績效評價(jià)若干基本問題的思考[J].自然辨證法通訊，2001，23（2）：40-50

[18]徐建，吳砥等區(qū)域教育信息化發(fā)展水平評估系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]現(xiàn)代教育技術(shù)，2018，28（2）：120-126.

[19]謝幼如，鄭云翔.引領(lǐng)與推動(dòng)：教育信息化績效評價(jià)[M]北京：高等教育出版社，2016：5.

[20] Saaly T L Analytic Hierarc，hy Process[M].New York：John Wiley&Sons，L[d，2001.19-20.

[21]杜棟，龐慶華等.現(xiàn)代綜合評價(jià)方法與案例精選[M].北京：清華大學(xué)出版社，2013.14-24.