基于改進層次分析法的工程教育認證課程畢業(yè)要求達成度評價

沙 金　鄭斯斯

基于改進層次分析法的工程教育認證課程畢業(yè)要求達成度評價

沙 金1鄭斯斯2

（1.廣東海洋大學機械與動力工程學院，廣東 湛江 524088；2.惠州學院數(shù)學與統(tǒng)計學院，廣東 惠州 516007）

工程教育認證強調課程體系設置和考核緊密圍繞學生畢業(yè)要求達成這一核心任務展開，而作為考核畢業(yè)要求達成的基礎，課程達成度評價工作，在理論研究和具體實踐中均未形成統(tǒng)一、標準的方法。通過建立畢業(yè)要求指標體系，設計重要程度統(tǒng)計表，簡化傳統(tǒng)層次分析法判斷矩陣構建過程，在分析各級指標重要度基礎上得到課程目標點貢獻度，準確計算課程達成度，為測算畢業(yè)要求達成奠定基礎，并通過實例分析詳細說明實施過程。該方法將定性評價轉化為定量評測，既體現(xiàn)專業(yè)特征又反映課程特色，且具有較強普適性，為認證工作的順利開展提供有益的參考與范式。

改進層次分析法；工程教育認證；課程畢業(yè)要求達成度

引言

自1989年由美國等6個國家民間工程專業(yè)團體發(fā)起并簽署《華盛頓協(xié)議》以來，世界范圍內逐步形成了以之為核心的工程教育專業(yè)認證和工程技術人員職業(yè)資格認證的國際協(xié)議體系，這也成為工程技術人員國際流動的基礎[1]。中國的工程教育認證最早始于1992年，教育部于2006年啟動了工程教育專業(yè)認證試點工作。

近年來，我國工程教育認證體系發(fā)生了積極、顯著的變化，以考核教育成果對畢業(yè)要求的滿足程度為核心的質量監(jiān)控體系不斷推進高等教育的內涵式發(fā)展[2]。以學生為中心、成果為導向前提之下的教育績效評估亟須解決如何判斷畢業(yè)生是否達到畢業(yè)要求所涉及的相應能力這一問題[3]。精準計算具體課程畢業(yè)要求達成，是工程教育專業(yè)認證的前提基礎，因此研究工程教育認證過程中課程畢業(yè)要求達成度的評價方法，不但具有非常顯著的理論意義，而且具備十分重要的實踐價值。

1　研究現(xiàn)狀分析

為切實做好課程達成度的衡量工作，不少學者在理論層面進行了較為深入的研究，各高校也從實踐角度采取了各具特色的舉措。

1.1　理論研究方面

王建龍等[4]對比分析了基于平均成績、知識點得分率的定量評價方法與采用問卷調查、學生訪談的定性評價方法的優(yōu)缺點。張建樹等[5]運用評分表分析法對實驗教學及實踐性教學環(huán)節(jié)的達成度進行評價。張國強等[6]以具體課程為例，利用公式對課程達成度進行計算與分析。邱然鋒等[7]提出了依照分解指標點—確定教學環(huán)節(jié)支撐—賦權重值—確認評價依據(jù)—課程達成度評價—抽取樣本—明確課程關聯(lián)度值和權重值—分析得出評價結果的過程來計算達成度的方法。高相勝等[8]在構建畢業(yè)要求與專業(yè)認證通用標準對應關系矩陣、畢業(yè)要求對培養(yǎng)目標達成支撐矩陣和課程與畢業(yè)要求對應關系矩陣的基礎上，對課程達成度的計算進行了定性分析。蔡述庭[9]等將工程教育認證標準中的12項畢業(yè)要求分解為若干便于評價的指標點，采用直接評價與間接評價相結合的方法對畢業(yè)要求達成情況進行評價。孫晶等[10]在建立畢業(yè)要求指標點與課程支撐關系前提下，由課程評價中對指標點達成度的評價值及其權值，計算指標點達成度數(shù)值。吳新燁等[11]提出多參數(shù)分級評價機制對畢業(yè)要求達成度進行評價。李擎等[12]以各課程所支撐的畢業(yè)要求指標點權重為基礎，對畢業(yè)要求達成度進行了計算。

1.2　實踐操作方面

目前高校較為一致的做法是：首先，根據(jù)各專業(yè)課程的不同特征，將其培養(yǎng)目標及授課內容與《中國工程教育專業(yè)認證協(xié)會工程教育認證標準》（以下簡稱《標準》）中所規(guī)定的畢業(yè)要求進行比對，形成相關課程的若干指標點，用以體現(xiàn)相應課程對于畢業(yè)要求達成的支撐；然后，對特定課程的各項指標點設置權重或百分比，用以確定考核環(huán)節(jié)中關于該指標點考核內容所占總體考核內容的比重；最后，根據(jù)學生考核實際得分計算出每一指標點的完成情況，匯總得出該課程的畢業(yè)要求達成度，用以反映特定課程對于完成畢業(yè)要求的支持程度。盡管上述過程在認證實踐中被廣泛接受并采用，但在指標點權重設置的方法上，各高校的做法卻大相徑庭：有按照授課內容所占學時進行確定的，有依據(jù)課程性質進行決策的，有根據(jù)專業(yè)特色進行判斷的，有依照任課教師經驗進行分配的，等等。

綜上所述，對于工程教育認證中課程畢業(yè)要求達成度評價問題，無論是理論研究層面或是實踐操作領域均尚未形成統(tǒng)一、成熟和標準的方法，勢必給認證高校帶來困惑，對認證工作造成不便。針對于此，本文將設計一套基于改進層次分析法的課程目標點貢獻度計算方法，對具體課程的畢業(yè)要求達成度進行定量評價，以期為工程教育認證工作提供有益參考。

2　評價模型建立

2.1　畢業(yè)要求指標體系建立

《標準》詳細規(guī)定了12項畢業(yè)要求，據(jù)此，本文將工程教育認證中相關規(guī)定轉化為畢業(yè)要求指標體系，如圖1所示。

圖1　畢業(yè)要求指標體系

2.2　改進層次分析法計算指標項重要度

不同高校不同專業(yè)對于不同指標點的側重難免存在差異，根據(jù)專業(yè)特征準確分析各項畢業(yè)要求在本專業(yè)教育過程中的重要程度，成為精確計算畢業(yè)要求達成度的前提。

本文中指標項重要度計算方法分為兩步進行：第一步，完成各一級指標對于達成畢業(yè)要求的權重計算；第二步，計算各一級指標下轄的二級指標對于該一級指標的權重貢獻。使用傳統(tǒng)層次分析法，完成圖1所示所有判斷矩陣共需進行108次兩兩對比，不但工作量巨大，而且極易產生不一致的情況，在具體實踐過程中的可操作性較差。為此，本文對傳統(tǒng)層次分析法進行改進，具體操作如下：

首先結合專業(yè)實際，完成表1和表2的填寫（在各指標點對應位置打“√”）。

表1　指標Y1-Y12重要度統(tǒng)計表

表2 指標Hm-1至Hm-n重要度統(tǒng)計表

進而，對各判斷矩陣的一致性進行檢驗，并計算各一級指標對于達成畢業(yè)要求的權重K，以及各二級指標對于實現(xiàn)其隸屬一級指標的權重K。

改進后的方法，僅需對12個一級指標和37個二級指標各進行一次重要程度判斷，且避免了對比過程中因考慮一致性而帶來的判斷困難，在不降低判斷準確性的前提下，有效減少判斷次數(shù)，并提升判斷的一致性。

2.3　課程目標點貢獻度計算

課程能否有效支持相應畢業(yè)要求指標，是衡量課程體系是否達標的主要判據(jù)，《標準》對于“支持”的解釋不但要求整個課程體系能夠支撐全部畢業(yè)要求，還要求每門課程能夠實現(xiàn)其在課程體系中的作用。

課程目標點的作用在于明確具體課程對畢業(yè)要求特定指標項的支撐關系，將課程任務分解為若干教學目標，并逐一建立各目標點與相關畢業(yè)要求指標的對應聯(lián)系。為更加清晰地體現(xiàn)課程目標點對畢業(yè)要求達成的貢獻度，本模型構建三級（強（H）、中（M）、弱（L））三檔（高（＋）、中、低（－））關系衡量課程對畢業(yè)要求的支撐力度，并規(guī)定H+至L-（共9級）所對應的支撐度分別為99%至11%（每級遞減11%）。以此為基礎，結合3.3的計算結果，便可計算出相應課程各目標點對于畢業(yè)要求的貢獻度，如公式（2）所示：

其中L表示該課程第目標點對其所支撐的第個畢業(yè)要求二級指標項的支撐度。

2.4　課程畢業(yè)要求達成度評價

課程的教學效果始終需要通過考核來體現(xiàn)，而畢業(yè)要求達成度也最終將以考核成績?yōu)榛A來反映。課程目標點對畢業(yè)要求的支撐程度越高，其在考核中所占分數(shù)應當越多，通過公式（3），可確定課程目標點在考核中所占分數(shù)比例P。

課程的畢業(yè)要求達成度則由公式⑷求出。

3　實例分析

某課程畢業(yè)要求達成度的具體計算過程如下。

步驟一，計算各畢業(yè)要求項重要度。根據(jù)專業(yè)辦學特色對畢業(yè)要求一級指標項進行重要度統(tǒng)計，填入表1，得到表3。

表3 XX專業(yè)畢業(yè)要求重要度統(tǒng)計表

依據(jù)各級指標重要度統(tǒng)計結果，可得到一級指標判斷矩陣Y。

對判斷矩陣進行一致性檢驗，一致率比率CRH小于0.1。畢業(yè)要求二級指標項的重要度統(tǒng)計與一級指標類似（具體過程由于篇幅限制，本文進行了省略）。各指標權重，如表4所示。

表4　畢業(yè)要求各指標項權重

步驟二，計算課程目標點貢獻度。假設XX課程設置4個目標點，每個目標點支撐畢業(yè)要求的對應指標項及支撐力度如表5所示，將表4的計算結果以及2.4中對于三級三檔支撐力度的界定代入公式（2）和（3），計算得到該課程的各目標點對于畢業(yè)要求的貢獻度。

表5　XX課程目標點權重計算

步驟三，計算課程畢業(yè)要求達成度。通過筆試、作業(yè)、課程論文、實驗、實習等形式對學生掌握各目標點的情況進行考核，得到不同目標點學生的平均得分，依據(jù)公式（4）計算得到該課程的畢業(yè)要求達成度，如表6所示。

表6　XX課程畢業(yè)要求達成程計算

4　結束語

工程教育專業(yè)認證要求課程體系的設置和考核緊密圍繞學生畢業(yè)能力達成這一核心任務展開，而課程達成度評測作為畢業(yè)要求達成度評價的基礎，是一項系統(tǒng)、復雜的工作，不僅決定認證結果，更關乎人才培養(yǎng)質量。本文所設計的基于改進層次分析法的課程畢業(yè)要求達成度評測方法，將課程目標點重要程度主觀評價與學生考核分數(shù)客觀統(tǒng)計相結合，準確反映課程設置對畢業(yè)要求的支撐力度，在精確計算教學效果對畢業(yè)要求達成程度的前提下，將專業(yè)特征和課程特色有機結合，有效簡化評價過程，具備較強的理論可行性與實踐便捷性，且能夠適用于不同專業(yè)的不同課程需要，對國家認證工作的順利開展和高校認證工作的積極準備具有一定的參考意義和借鑒價值。但本文僅局限于討論具體課程的畢業(yè)要求達成情況，如何在此基礎上準確評價專業(yè)教育畢業(yè)要求達成度，可成為下一步研究的方向。

[1]王玲，雷環(huán). 《華盛頓協(xié)議》簽約成員的工程教育認證特點及其對我國的啟示[J]. 清華大學教育研究，2008(5): 88-92.

[2]蔣宗禮. 工程專業(yè)認證引導高校工程教育改革之路[J]. 工業(yè)和信息化教育，2014(1): 1-12.

[3]李志義，朱泓，劉志軍，等. 用成果導向教育理念引導高等工程教育教學改革[J]. 高等工程教育研究，2014(2): 29-70.

[4]王建龍，李俊奇，張曉然，等. 工程教育專業(yè)認證畢業(yè)要求達成度評價方法探討[J]. 中國現(xiàn)代教育裝備，2018(17): 41-44.

[5]張建樹，郭瑞麗. 工程教育認證背景下課程達成度的評價改革[J]. 高教論壇，2016(6): 72-74.

[6]張國強，陳峻，王昊，等. 工程教育認證背景下“交通控制與管理”課程達成度評價研究與實踐[J]. 東南大學學報(哲學社會科學版)，2017，19(S2): 150-153.

[7]邱然鋒，邱然鋒，肖笑，等. 工程教育認證畢業(yè)要求達成度的評價[C]. 高等科學與工業(yè)研究中心2017年第四屆高等教育技術與管理科學國際會議論文集，2017.

[8]高相勝，昝濤，王民. 工程教育認證畢業(yè)要求達成度評價方法和步驟[J]. 教育教學論壇，2016(51): 206-208.

[9]蔡述庭，李衛(wèi)軍，章云. 工程教育認證中畢業(yè)要求達成度的三維度評價實踐[J]. 高等工程教育研究，2018(2): 71-76.

[10] 孫晶，張偉，任宗金，等. 工程教育專業(yè)認證畢業(yè)要求達成度的成果導向評價[J]. 清華大學教育研究，2017，38(4): 117-124.

[11] 吳新燁，王東東，高婧，等. 基于多參數(shù)分級機制的工程教育專業(yè)認證畢業(yè)要求達成度評價研究[C]. 中國軟科學研究會2019年中國軟科學論文集，2020.

[12] 李擎，崔家瑞，楊旭，等. 面向工程教育專業(yè)認證的自動化專業(yè)持續(xù)改進[J]. 高等工程教育研究，2019(5): 76-80，96.

Evaluation of Degree of Achievement of Graduation Requirements of Engineering Education Certification Course Based on Improved Analytic Hierarchy Process

Engineering education certification emphasizes that curriculum system setting and assessment are closely carried out around the core task of achieving students' graduation requirements. As the basis for assessing the achievement of graduation requirements, the evaluation of curriculum achievement has not formed a unified and standard method in theoretical research and specific practice. By establishing the graduation requirement index system, designing the importance statistical table, simplifying the construction process of the judgment matrix of the traditional analytic hierarchy process, obtaining the contribution degree of the curriculum target points on the basis of analyzing the importance of the indicators at all levels, accurately calculating the curriculum achievement degree, laying a foundation for calculating the achievement of graduation requirements, and explaining the implementation process in detail through example analysis. This method transforms qualitative evaluation into quantitative evaluation, which not only reflects professional characteristics, but also reflects curriculum characteristics, and has strong universality. It provides a useful reference and paradigm for the smooth development of certification work.

improved analytic hierarchy process; engineering education certification; degree of achievement of graduation requirements

G647

A

1008-1151(2022)02-0129-04

2021-11-28

廣東高校重點平臺和科研項目青年創(chuàng)新人才類項目（2018KQNCX251）；廣東省研究生教育創(chuàng)新計劃項目（2019JGXM60）；湛江市科技攻關計劃項目（2019B01013）；廣東海洋大學科研啟動資助項目（101502/R18014）；廣東海洋大學教育教學改革項目（580320073）；惠州學院2021年校級教學質量與教學改革工程建設項目（X-JYJG2021047）。

沙金（1978－），男，河南鄭州人，廣東海洋大學機械與動力工程學院講師，博士，研究方向為物流與供應鏈管理、工業(yè)工程。

鄭斯斯，惠州學院數(shù)學與統(tǒng)計學院講師，博士，研究方向為物流與供應鏈管理。