研究生管理信息系統(tǒng)應(yīng)用效果評價研究

焦寶臣，陳詩明，劉振昌，楊 陽，張四海

(南開大學 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)應(yīng)用效果評價研究

焦寶臣，陳詩明，劉振昌，楊 陽，張四海

(南開大學 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)作為高校研究生教育信息化的重要手段，備受關(guān)注.目前許多高校已經(jīng)開展了研究生系統(tǒng)的建設(shè)，但缺乏對其應(yīng)用效果的評價.筆者從實際使用角度提出了將不同種類用戶的劃分和使用情況作為研制指標體系的思路，并構(gòu)建了具有二層級的應(yīng)用效果評價指標.采用層次分析法，通過專家打分的方式，確定指標權(quán)重；以南開大學為例進行了應(yīng)用效果評價，結(jié)果顯示應(yīng)用效果處于良好水平；最終形成了一整套可行的研究生管理信息系統(tǒng)應(yīng)用效果評價方案.通過應(yīng)用效果評價，不但可以直觀地判斷學校當前研究生系統(tǒng)應(yīng)用水平，也可為系統(tǒng)升級和發(fā)展提供重要的建設(shè)性意見.

應(yīng)用效果；層次分析法；評價指標體系；研究生管理信息系統(tǒng)

0 引言

研究生教育是高校教育、科研工作的核心內(nèi)容，利用信息化手段來改善高校研究生教學管理水平備受各高校關(guān)注.其中建設(shè)研究生管理信息系統(tǒng)(以下簡稱為“研究生系統(tǒng)”)是重要的信息化手段.將傳統(tǒng)的研究生教學、科研和管理工作，通過構(gòu)建業(yè)務(wù)系統(tǒng)以更加規(guī)范、高效的信息化形式展現(xiàn)出來，這對于提高學校整體辦學質(zhì)量有重要的意義.

目前，國內(nèi)很多高校已經(jīng)建設(shè)了研究生管理信息系統(tǒng)，學術(shù)界也開展了廣泛研究.這一領(lǐng)域的研究大多集中在對高校信息化水平或某一地域信息化水平進行評價，也有從績效角度對信息系統(tǒng)或高校信息化進行評價[1-5].這些研究往往過多地關(guān)注整體信息化水平，缺乏從應(yīng)用效果角度提出有針對性的評價或建議.因此，以研究生系統(tǒng)為突破口開展應(yīng)用效果評價研究，能夠從實際使用的角度對信息系統(tǒng)的情況進行綜合評價，對系統(tǒng)未來發(fā)展給出更加直接的建設(shè)性意見.

研究生管理信息系統(tǒng)是典型的信息系統(tǒng)，對其從實際使用角度開展應(yīng)用效果評價研究，可作為高校業(yè)務(wù)管理信息系統(tǒng)應(yīng)用效果評價研究的范例.其評價思路、評價指標研制方法，均對其他系統(tǒng)應(yīng)用效果評價具有非常重要的借鑒價值.

1 評價思路

開展研究生系統(tǒng)應(yīng)用效果評價，通常首先是從經(jīng)濟學的角度分析系統(tǒng)的成本和收益情況[6-7].這樣能夠獲得較為直觀的經(jīng)濟應(yīng)用效果，但并不能為系統(tǒng)進一步發(fā)展提供重要的改進方向.對研究生系統(tǒng)進行應(yīng)用效果評價，應(yīng)堅持從實際使用角度來研究評價體系和方法，這樣才能對研究生系統(tǒng)進行更加有效的評價，為其進一步發(fā)展和改進提供明確的意見或建議.

對研究生系統(tǒng)進行應(yīng)用效果評價的具體步驟如下：①分層級構(gòu)建評價指標.從實際使用角度對研究生系統(tǒng)進行分析，構(gòu)建評價指標，并進行分層級，形成系統(tǒng)的評價指標；②確定指標權(quán)重值.采用數(shù)學方法對不同層級指標進行權(quán)重分析，形成評價指標體系；③建立評語等級集.對指標建立評語等級，形成問卷調(diào)查表;④以某高校為例，進行問卷調(diào)查，利用已建立的評價指標體系進行分析，最后得出評價結(jié)果.

2 評價指標的研制

2.1 構(gòu)建一級指標

從實際使用角度對研究生系統(tǒng)進行應(yīng)用效果評價研究，就是從系統(tǒng)使用者的角度來分析評價指標.系統(tǒng)的使用者包括：研究生(碩士、博士)、任課老師、導師、輔導員、研究生院從事管理的工作人員、系統(tǒng)管理員、系統(tǒng)開發(fā)人員、系統(tǒng)維護人員.以上人員可以分為3類，如圖1所示.

圖1 研究生系統(tǒng)相關(guān)人員示意圖

A為研究生相關(guān)工作中從事管理類工作的人員，包括：研究生院工作人員和研究生輔導員.這類人員主要從研究生院管理工作的角度來審視研究生系統(tǒng)應(yīng)用情況.

B為研究生相關(guān)工作中辦理具體事務(wù)的人員，包括：研究生、任課老師、導師(碩士生導師、博士生導師).相對于A類人員來說，這一類人員

是被管理的對象，是研究生相關(guān)工作的主體人員.這類人員從具體辦理研究生相關(guān)業(yè)務(wù)角度來審視研究生系統(tǒng)的應(yīng)用情況.

C為系統(tǒng)自身情況相關(guān)的人員，包括：系統(tǒng)管理員、系統(tǒng)開發(fā)人員、系統(tǒng)維護人員等.這類人員更多的是從系統(tǒng)軟件角度來審視研究生系統(tǒng)實際應(yīng)用情況.

結(jié)果語步常用詞匯：result,findings,find,result in,indicate,predict,occur,show,suggest,provide,present,demonstrate,include等

依據(jù)上述研究生系統(tǒng)實際使用人員的分類，可以從3個方面來評價研究生系統(tǒng)應(yīng)用效果，也就是評價體系的一級指標，分別是：

(1)“對研究生院管理工作改進效果”.從研究生院管理工作角度來分析系統(tǒng)應(yīng)用效果.

(2)“對業(yè)務(wù)辦理工作改進效果”.是指研究生系統(tǒng)的建設(shè)對要辦理業(yè)務(wù)的普通使用者(普通老師和學生)辦理相關(guān)業(yè)務(wù)的改進效果，即從普通辦理業(yè)務(wù)人員角度來分析系統(tǒng)應(yīng)用效果.

(3)“研究生系統(tǒng)自身狀況”.這是從系統(tǒng)自身情況相關(guān)人員角度來分析系統(tǒng)應(yīng)用效果.

2.2 二級指標

在得出上述3個一級指標的基礎(chǔ)上，分別研制出其所含的二級指標，能直接表達系統(tǒng)的應(yīng)用效果.表1為具有二層級的研究生應(yīng)用效果評價指標，以及二級指標的說明.

表1 研究生系統(tǒng)應(yīng)用效果的二層級評價指標

表2 研究生系統(tǒng)應(yīng)用效果評價指標及其權(quán)重

3 確定指標權(quán)重值

在分層級構(gòu)建出評價指標后，采用合適的數(shù)學方法確定不同層級指標的權(quán)重值，形成完整的評價體系.常用確定分層級指標權(quán)重值的方法是層次分析法(analytic hierarchy process，AHP).AHP在決策分析、產(chǎn)業(yè)結(jié)構(gòu)研究、科技成果評價、發(fā)展戰(zhàn)略規(guī)劃、人才考核評價及發(fā)展目標分析的許多領(lǐng)域都取得了令人滿意的成果[8].其在計算指標權(quán)重值方面也有成熟的應(yīng)用[2]，具體方法步驟如下：

(1)分層次的指標為同一指標下同一層級的指標，依據(jù)兩兩比較原則，構(gòu)建調(diào)查表;

(2)研究生系統(tǒng)相關(guān)專家做問卷調(diào)查;

(3)依據(jù)問卷調(diào)查結(jié)果，構(gòu)建判斷矩陣;

(4)采用特征根法計算得出指標的權(quán)重值，具體運算過程可用軟件Expert Choice實現(xiàn)[9].

下面以南開大學為例，通過上述步驟構(gòu)建研究生應(yīng)用效果評價指標體系.表2為依據(jù)AHP法采用Expert Choice軟件計算得到的南開大學研究生系統(tǒng)應(yīng)用效果評價指標及其權(quán)重值.從表2中的一級指標及其權(quán)重中可以看出，“對業(yè)務(wù)辦理工作改進效果”的權(quán)重值為0.558，要明顯大于“對研究生管理工作改進效果”的0.320和“研究生系統(tǒng)自身狀況”的0.122.說明從實際使用效果角度來看，“業(yè)務(wù)辦理工作改進”對系統(tǒng)的使用具有決定性的影響,也就是說，研究生系統(tǒng)建設(shè)應(yīng)更多地考慮辦理實際業(yè)務(wù)的普通用戶(研究生、導師)的切身感受.

在所有二級指標中“無紙化程度”的權(quán)重為0.301，要明顯高于其他二級指標.因此，在研究生系統(tǒng)建設(shè)或升級改造中,應(yīng)更加注重實現(xiàn)網(wǎng)上辦公，盡量避免線下操作，從根本上實現(xiàn)無紙化辦公.

通過上述分析，可以明確得知，在建設(shè)或升級研究生系統(tǒng)時應(yīng)更多地從業(yè)務(wù)辦理方面來下功夫，即更多地站在普通用戶的角度來構(gòu)建系統(tǒng)，這樣才能使系統(tǒng)建成之后有更好的使用效果.此外，這種采用AHP法構(gòu)建研究生應(yīng)用效果評價指標體系的方式也可為其他信息管理系統(tǒng)應(yīng)用效果評價研究提供可行的借鑒方案.

4 評價實例

南開大學現(xiàn)有在校研究生1.1萬余人，研究生系統(tǒng)自2007年開始建設(shè)使用，至今已有近9年的時間，期間在2014年經(jīng)過了一次升級.該系統(tǒng)有較廣泛的使用和較成熟的用戶，能夠為應(yīng)用效果評價研究提供良好的實例.

以南開大學為例確定了指標權(quán)重基礎(chǔ)之后，通過建立評語等級，利用指標形成問卷調(diào)查表.采用四級評語來標識指標的等級.分別為：“A”級對應(yīng)100分；“B”級對應(yīng)85分；“C”級對應(yīng)75分；“D”級對應(yīng)60分.將構(gòu)建評價體系中的二級指標(如表2)按照A、B、C、D 4級評語來標識，形成問卷調(diào)查表.隨機抽取一定數(shù)量的用戶(包括：研究生、導師、任課老師、輔導員和研究生院工作人員，等等)進行問卷調(diào)查.對每一項指標的調(diào)查結(jié)果求取平均值作為最后的結(jié)果，再與該指標對應(yīng)的權(quán)重值作乘法，最后將結(jié)果求和作為研究生應(yīng)用效果值.表3為按照上述方式得出的南開大學研究生系統(tǒng)應(yīng)用效果評價結(jié)果.最后得到的應(yīng)用效果值是86.184，處于B級良好水平.

表3 研究生系統(tǒng)應(yīng)用效果評價結(jié)果

5 結(jié)論

從實際應(yīng)用角度對研究生系統(tǒng)應(yīng)用效果進行評價，構(gòu)建具有二層級的評價指標體系，采用AHP法確定指標權(quán)重；以南開大學研究生系統(tǒng)為例，進行問卷調(diào)查，最后得出系統(tǒng)應(yīng)用效果值,從而形成了一套可行的研究生應(yīng)用效果評價方案.該方案也可為相關(guān)信息系統(tǒng)應(yīng)用效果評價研究提供借鑒，有廣闊的應(yīng)用前景.

雖然筆者對研究生系統(tǒng)應(yīng)用效果評價進行了初步研究，在指標體系構(gòu)建上形成了較為可行的思路方法.但是，由于AHP法本身采用專家打分的方式獲得指標值，難免會受專家喜好的影響.因此從數(shù)學上尋找更加優(yōu)良的方法，剔除人為的感性影響，盡量以定量的方式對系統(tǒng)進行應(yīng)用效果評價是下一步努力的方向.

[1] 謝幼如,常亞潔. 績效導向的教育信息化評價模型的構(gòu)建[J]. 中國電化教育, 2015(1): 56-61.

[2] 李文光,范坤,趙瑩. 深圳市基礎(chǔ)教育信息化建設(shè)與應(yīng)用評價指標體系的探索[J].中國電化教育, 2014(1):40-44.

[3] 李玉石. 高校信息化評價指標及應(yīng)用研究[D]. 天津: 河北工業(yè)大學經(jīng)濟管理學院, 2007.

[4] 謝忠新. 學校信息化應(yīng)用評估模型的研究[D]. 上海: 華東師范大學教育學部, 2009.

[5] 陳明選,湯巍楠.中小學數(shù)字化校園建設(shè)與應(yīng)用績效的優(yōu)化[J].中國電化教育, 2012(3):30-36.

[6] 寧東玲. 信息系統(tǒng)項目應(yīng)用效果的評價研究[J]. 項目管理技術(shù), 2012, 10(10): 52-55.

[7] 張淑娜. 制造業(yè)信息化制造技術(shù)應(yīng)用效果評價研究[D]. 哈爾濱: 哈爾濱理工大學經(jīng)濟管理學院, 2008.

[8] 張炳江. 層次分析法及其應(yīng)用案例[M].北京: 電子工業(yè)出版社, 2014.

[9] 孔令波. 制造業(yè)管理型信息系統(tǒng)評價體系的研究[D].昆明: 昆明理工大學機電工程學院, 2006.

Research on the Application Effect Evaluation of the Graduate Management Information System

JIAO Baochen, CHEN Shiming, LIU Zhenchang, YANG Yang, ZHANG Sihai

(Office of Informatization Construction and Management, Nankai University, Tianjin 300071, China)

An increasing amount of attention was widely drawn to the Graduate Management Information system, which could be considered as an important means of the college graduate educational informatization. Currently, the construction of the graduate system was promoted in most of college. Nevertheless, it was deficient in the application effect evaluation of the graduate system. From the view of the practical application, a way of building the index system was proposed, which was according to the partition and application of the user. The evaluation index of the application effect with the double levels was constructed. The weight parameters were determined by analytic hierarchy process (AHP), through the expert evaluating method. As an example, the Nankai University was taken to proceed the application effect evaluation. The result showed that the application effect of the graduate system of Nankai University reached high level. A feasible project of the application effect evaluation was proposed in the Graduate Management Information system. Through the method of application effect evaluation, the application level could be estimated effectively and directly in the graduate system. Moreover, the indispensable suggestion could be presented for updating and developing the system.

aplication effect; analytic hierarchy process; evaluation index system; graduate management information system

2016-11-08；

2017-02-18

天津市教育信息化協(xié)會資助項目

焦寶臣(1982— )，男，天津人，南開大學工程師，博士，主要從事教育信息化建設(shè)研究，E-mail:bcjiao@nankai.edu.cn.

1671-6833(2017)02-0009-04

TP311

A

10.13705/j.issn.1671-6833.2017.02.003