基于綜合評價分析法的江蘇省本科教育質(zhì)量評價分析

文傳軍,許定亮,吳 奇，辛玉琴,朱逸庭，章 琦

(常州工學(xué)院 數(shù)理與化工學(xué)院，江蘇 常州 213032)

一、引言

自1999年高等教育擴招以后,我國已進入了高等教育大眾化的階段。但在面對取得成績的同時，更應(yīng)該正視高等教育質(zhì)量中所出現(xiàn)的畢業(yè)生素質(zhì)、能力參差不齊等嚴(yán)峻問題。并且由于日益激烈的全球人才競爭，我們不得不正視社會對高等教育質(zhì)量提出的新要求。優(yōu)質(zhì)的教育質(zhì)量是高等學(xué)校得以持續(xù)發(fā)展的命脈，而搞好教育質(zhì)量評價的關(guān)鍵在于確定科學(xué)合理的評價指標(biāo)體系，因此本科教育質(zhì)量評價方法成為高等教育研究的熱點。

眾多學(xué)者對高等教育質(zhì)量評估問題進行了研究。謝慧松等人運用問卷調(diào)查法、實驗法等研究方法以北京體育大學(xué)為例構(gòu)建了體育院校本科教學(xué)監(jiān)控體系，對監(jiān)控體系的中心環(huán)節(jié)教學(xué)評價進行了深入分析，建立了體育院校教學(xué)質(zhì)量監(jiān)控體系，修訂了體育院校課堂教學(xué)評價方式及教學(xué)評價的具體指標(biāo)，對改進體育院校教學(xué)質(zhì)量評價提供了參考依據(jù)[1]。蔡譜等人通過對學(xué)校本科教學(xué)質(zhì)量保證體系構(gòu)建的分析與總結(jié)，闡述建立由領(lǐng)導(dǎo)決策、執(zhí)行保障、評價監(jiān)控和反饋改進四部分組成的教學(xué)質(zhì)量保障體系，推動教學(xué)質(zhì)量持續(xù)提升[2]。文獻[3]從校本評價的內(nèi)涵和特點入手，提出基于校本評價的本科教育質(zhì)量評價指標(biāo)體系和評價模型，使得教育質(zhì)量評價成為高等學(xué)校的一種內(nèi)生機制。劉小洋從當(dāng)今的高校本科教學(xué)質(zhì)量的現(xiàn)狀入手，分析了教學(xué)質(zhì)量不高的深層次原因，提出了用貝葉斯分類技術(shù)來實現(xiàn)高校教師的教學(xué)質(zhì)量的評價[4]。文獻[5]對雙一流視角下水土保持與荒漠化防治專業(yè)本科教學(xué)改革進行了研究并提出了建議：首先擴充水土保持與荒漠化防治學(xué)科教學(xué)的內(nèi)涵；其次要及時更新專業(yè)知識；第三要借助社會資源實現(xiàn)高校、科研院所、企業(yè)協(xié)同辦學(xué)，從而能更好地滿足在水土保持與生態(tài)環(huán)境建設(shè)領(lǐng)域的社會需求。王興宇等人對 NSSE(National Surveyol of Student Engagement，全美大學(xué)生學(xué)習(xí)性投入調(diào)查)本科教育質(zhì)量評價方法進行了研究，NSSE根據(jù)學(xué)業(yè)挑戰(zhàn)度、主動合作學(xué)習(xí)水平、生師互動、校園環(huán)境支持度、教育經(jīng)驗的豐富度等五大核心指標(biāo)收集學(xué)生的學(xué)習(xí)信息，關(guān)注學(xué)生的學(xué)習(xí)體驗，不僅充分實踐了“以學(xué)生學(xué)習(xí)為中心”的理念，還為現(xiàn)行的評價制度提供了有力的補充[6]。文獻[7]將本科教育質(zhì)量評價關(guān)注的視點指向?qū)W生主體，使用清華大學(xué)教育研究院CCSS調(diào)查工具，分析武漢紡織大學(xué)在五項可比指標(biāo)與全國及分類院校的比較情況，對學(xué)校本科教育質(zhì)量和過程進行評價，從而發(fā)掘?qū)W校教育教學(xué)中存在的問題并提出改進建議。李長熙系統(tǒng)考慮影響教學(xué)質(zhì)量的各個工作環(huán)節(jié),并以現(xiàn)代教育評價理論為指導(dǎo),合理設(shè)計評價方案，以系統(tǒng)性、科學(xué)性、全面性為基本原則，構(gòu)建全員參與、全過程監(jiān)控、科學(xué)評價的本科教育質(zhì)量評價體系[8]。吳雅穎基于突變級數(shù)法，建立本科教學(xué)質(zhì)量評價的數(shù)學(xué)模型及評判方法。突變級數(shù)法對目標(biāo)進行遞階分解，實現(xiàn)定性分析與定量計算的結(jié)合，評價結(jié)果具有較高可信度[9]。吳勰雯等人利用決策模型對江蘇省高校發(fā)布的2013年本科教學(xué)質(zhì)量報告中24類支撐數(shù)據(jù)進行挖掘和分析，不僅體現(xiàn)了本科教學(xué)質(zhì)量報告中支撐數(shù)據(jù)的客觀性，且尊重了專家對支撐數(shù)據(jù)屬性重要性的認知程度[10]。

作為一個教育大省，江蘇省的本科教育發(fā)展在全國名列前茅，而江蘇省13個地級市的本科教育質(zhì)量發(fā)展并不平衡。對江蘇省高校教育質(zhì)量進行評估研究，有利于江蘇省本科教育更加健康穩(wěn)健地發(fā)展。在上述研究的基礎(chǔ)上，對江蘇省本科教育質(zhì)量綜合評價進行研究。首先根據(jù)篩選出影響本科教育質(zhì)量的9個核心指標(biāo),結(jié)合熵值法模型，對原始數(shù)據(jù)無量綱化處理并進行權(quán)重分配，基于主成分分析算出每一所高校的綜合得分和排名，最后通過建立敏感度分析模型，確定決定得分排名的關(guān)鍵性指標(biāo)，并針對綜合得分較低的院校改善該指標(biāo)，驗證該指標(biāo)的改善是否縮小了不同地區(qū)間的教學(xué)質(zhì)量差異。

二、基于綜合評價分析法的江蘇省本科教育質(zhì)量評價分析

(一)評價模型基本假設(shè)

為了能夠有效準(zhǔn)確地對本科教育質(zhì)量進行評價，作出一些合理化基本假設(shè)：

1.假設(shè)本文需要分析的本科教育質(zhì)量范圍是江蘇省49所本科高校；

2.假設(shè)從《高等學(xué)校科技統(tǒng)計資料匯編》和各大高?！?016—2017學(xué)年本科教學(xué)質(zhì)量報告》中搜集的數(shù)據(jù)真實有效；

3.假設(shè)本文選取的指標(biāo)較能全面反映本科教育質(zhì)量；

4.假設(shè)數(shù)據(jù)具有可比性，各高校數(shù)據(jù)之間互不影響。

(二) 數(shù)據(jù)處理

1.多變量綜合評價方法處理數(shù)據(jù)

利用多變量綜合評價方法對相關(guān)指標(biāo)數(shù)據(jù)進行處理。多變量綜合評價方法是指運用多個指標(biāo)對多個參評院校進行客觀、公正、合理的全面評價的方法。從技術(shù)上看，多指標(biāo)綜合評價是通過一定的數(shù)學(xué)函數(shù)將多個評價指標(biāo)值“合成”為一個整體性的綜合評價值。綜合評價法的基本思想是將多個指標(biāo)轉(zhuǎn)化為一個能夠反映綜合情況的總指標(biāo)來進行評價。其特點是，評價過程是通過一些特殊方法同時完成多個指標(biāo)的評價，而不是逐個指標(biāo)順次完成；評價過程中，一般要根據(jù)指標(biāo)的重要性進行加權(quán)處理；最重要的是，綜合評價的結(jié)果不再是具體含義的統(tǒng)計指標(biāo)，而是以指數(shù)或分值呈現(xiàn)參評單位的“綜合狀況”的排序。

2.確定指標(biāo)的影響因素

江蘇省本科教育質(zhì)量評價影響指標(biāo)如表1所示。

表1 江蘇省本科教育質(zhì)量評價指標(biāo)

3.數(shù)據(jù)搜集及標(biāo)準(zhǔn)化處理

數(shù)據(jù)來源：《高等學(xué)校科技統(tǒng)計資料匯編》和各大高?！?016—2017學(xué)年本科教學(xué)質(zhì)量報告》。其中一些抽象指標(biāo)教學(xué)條件與利用，將生均占地面積、教學(xué)儀器設(shè)備總值增加額、生均圖書總冊數(shù)和生均日常教學(xué)經(jīng)費支出等一系列具體的指標(biāo)數(shù)據(jù)進行量化處理，作為教學(xué)條件與利用指標(biāo)的計算依據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)化處理包括標(biāo)準(zhǔn)0-1變換和區(qū)間型屬性的變換[1]83-88，在本文中利用MATLAB算法進行數(shù)據(jù)的標(biāo)準(zhǔn)化處理。

4.量化處理方式及計算依據(jù)

量化處理方式及計算依據(jù)如表2所示。

表2 量化處理方式

(三) 江蘇省本科教育質(zhì)量評價分析

1.評價流程圖(圖1)

圖1 江蘇省13個地級市本科教育質(zhì)量綜合評價流程圖

2.指標(biāo)層的綜合得分

通過主成分分析算出指標(biāo)層各項因素的權(quán)重，根據(jù)權(quán)重算出每項指標(biāo)的得分。加權(quán)平均可以得到準(zhǔn)則層各項指標(biāo)的綜合得分。

主成分分析的步驟如下：

(1)對原始數(shù)據(jù)進行標(biāo)準(zhǔn)化處理，稱

(1)

為標(biāo)準(zhǔn)化指標(biāo)變量，xij表示第i個院校的第j個指標(biāo)的標(biāo)準(zhǔn)化數(shù)據(jù)。

(2)計算相關(guān)系數(shù)矩陣R=(rij)m×n，有

(2)

(3)計算特征值和特征向量。計算相關(guān)系數(shù)矩陣R的特征值

λ1≥λ2≥…≥λm≥0，對應(yīng)的特征向量μ1,μ2,…,μm，其中μj=[u1j,u2j,…,umj]T。

(4)選擇p個主成分，計算綜合評價值。

1)計算特征值的信息貢獻率和累計貢獻率。稱

(3)

為主成分yj的信息貢獻率。

2)計算綜合得分

(4)

3.準(zhǔn)則層的綜合得分

這里通過熵值法確定各個指標(biāo)的權(quán)重。熵值法是一種客觀的確定各個指標(biāo)權(quán)重的方法。熵值法主要借鑒信息熵的理論和方法，根據(jù)每個指標(biāo)的指標(biāo)值數(shù)據(jù)差異程度確定其權(quán)重。一般地，某指標(biāo)的指標(biāo)值的差異程度越大，則其有序性越好，熵值越小，最后賦予的權(quán)重越大。運用熵值法確定指標(biāo)權(quán)重的步驟包括：

第一步，計算第i個被評價對象第j個指標(biāo)值在所有被評價對象第j個指標(biāo)值總和中的比例。該比例的計算通?；跓o量綱化后的指標(biāo)值，計算公式為

(5)

第二步，計算第j個指標(biāo)的熵值

(6)

該步驟借鑒了信息熵的理論和方法。信息熵理論中，Pi表示概率空間中某一取值出現(xiàn)的概率，并基于上述公式來計算信息熵，如果每個樣本點出現(xiàn)的概率越平均，則無序度越大，熵值也越大。熵值法借鑒這一理論和方法，當(dāng)比例Pij差異越小時，計算得到的熵值越大，表明其信息量越少。計算中設(shè)定，當(dāng)Pij=0時，ln(Pij)=0 。從計算結(jié)果來看，ej∈[0,1]而且當(dāng)Pij完全相等時，ej=1。

第三步，計算每個指標(biāo)的權(quán)重

(7)

由熵值法算出的每項指標(biāo)的權(quán)重進行加權(quán)得分可以得出每個學(xué)校的綜合得分Si，計算公式如式(8)所示：

(8)

4.院校按地級市分類

江蘇省各個每個城市本科院校的數(shù)量為：南京市25所，蘇州市4所，徐州市4所，常州市3所，淮安市、南通市、鹽城市、鎮(zhèn)江市各2所，連云港、宿遷市、泰州市、無錫市、揚州市各1所。

結(jié)合每個指標(biāo)的權(quán)重和經(jīng)過標(biāo)準(zhǔn)化處理后的各個院校的數(shù)據(jù)，對49所高校的9個指標(biāo)通過無量綱化進行權(quán)重分配，算出每一所高校的綜合得分，再按地級市進行分類，以985、211、普通院校數(shù)量占江蘇省本科院校數(shù)量的比例確定權(quán)重，即可算出每個地級市的本科教育質(zhì)量對應(yīng)的綜合得分。

5.計算每個地級市的綜合得分

表3 13個地級市的綜合得分

(四)模型敏感性分析

建立敏感度分析模型來分析具體是哪個指標(biāo)造成江蘇省各地級市本科教育發(fā)展的差異。計算敏感度的公式為：

(9)

其中，Δxi為第i個變量x變化的幅度；Δyi為第i個指標(biāo)y由于變量x引起的變動幅度。

其計算方法為：按照+20%、+40%與+60%的變化范圍，改變一個指標(biāo)，不改變其他指標(biāo)，計算該指標(biāo)變化后的得分，并與原得分對比，計算該變量的敏感度；然后再選擇另一個指標(biāo)，重復(fù)進行上述操作，計算出所有可能影響的指標(biāo)變化后的綜合得分。根據(jù)計算出的敏感度值可知，值最大的變量是最敏感的因素，最小的是最不敏感的因素。計算得到如表4所示的結(jié)果。

從表4中敏感度值可以看出，生師比、招生人數(shù)等是最不敏感的指標(biāo)，科研投入與產(chǎn)出等是最敏感的指標(biāo)。即各地級市加大對高校的科研投入，改善師資隊伍與結(jié)構(gòu)會有效改善本科教學(xué)質(zhì)量，縮小地級市間本科教育發(fā)展的差異。

下面以指標(biāo)科研投入與產(chǎn)出排名稍微靠后的地級市為例，將南通市作為參考標(biāo)準(zhǔn)，修改泰州市、宿遷市等該指標(biāo)的值，驗證其改變后，是否能有效縮小地級市之間本科教育發(fā)展的差異。保證其他指標(biāo)不變，將科研投入與產(chǎn)出的原始數(shù)據(jù)分別增加20%、40%、60%與80%，計算綜合得分，結(jié)果如表5所示。

表4 敏感度分析表

表5 修改科研投入與產(chǎn)出指標(biāo)后的部分城市得分排名計算結(jié)果

從表5可以看出，當(dāng)科研投入與產(chǎn)出這一指標(biāo)增加60%后，常州市超過淮安市從第四名上升至第三名，連云港市超過南通市排名第一?？梢哉f明所建立的敏感度分析模型有效，當(dāng)?shù)丶壥姓哟髮Ω咝５目蒲型度氲瓤梢员M可能縮小地級市的本科教育發(fā)展差異。

三、結(jié)論

對江蘇省本科教育質(zhì)量建立綜合評價模型進行研究，結(jié)合相關(guān)數(shù)據(jù)對江蘇省49所本科院校進行綜合得分排名，其中，南京院校的綜合得分最高。同時運用敏感度分析確定對綜合得分有較大影響的關(guān)鍵性指標(biāo)，結(jié)果顯示科研投入與產(chǎn)出對綜合得分的變動影響最大。評價模型顯示江蘇省不同城市的本科教育質(zhì)量存在顯著的地區(qū)差異。同時，本文中還分析了不同指標(biāo)對本科教育質(zhì)量影響程度的大小，因此關(guān)鍵指標(biāo)的改善對提升教育質(zhì)量也有非常顯著的影響。