綜合評價法在教學(xué)質(zhì)量評價中的應(yīng)用

張 娟 許志勇

（天津市教育招生考試院，天津 300687）

一、引言

教育評價事關(guān)教育發(fā)展方向，是教育辦學(xué)的“指揮棒”，其中教學(xué)質(zhì)量評價是教育評價的重要組成部分。實施教學(xué)質(zhì)量評價，一是指導(dǎo)學(xué)校教育教學(xué)管理，對學(xué)校發(fā)展具有積極作用；二是調(diào)動各學(xué)科教師的積極性，對教師團隊發(fā)展具有督導(dǎo)作用；三是促進(jìn)學(xué)生綜合發(fā)展，對學(xué)生全面發(fā)展具有導(dǎo)向作用。

目前，許多學(xué)者和研究機構(gòu)都在積極探索教學(xué)質(zhì)量評價，研究方向主要集中在三個方面：一是以政策落實為目標(biāo)，探索教學(xué)質(zhì)量評價抓手。郭朝紅和王彬（2021）[1]基于國際經(jīng)驗及國家對普通高中教育評價改革的政策目標(biāo)和要求，探討了普通高中教育評價的質(zhì)量標(biāo)準(zhǔn)，提出了關(guān)注差異、強化過程，探索增值、聚焦進(jìn)步的建議，設(shè)計了數(shù)據(jù)驅(qū)動、滾動評估的評價思路。雷新勇（2020）[2]認(rèn)為教學(xué)評價要考慮學(xué)生的成績和綜合素質(zhì)，綜合素質(zhì)評價是對學(xué)生在思想品德、身心健康、興趣特長、社會實踐、勞動實踐等方面的行為評價。二是以解決問題為導(dǎo)向，探索教學(xué)質(zhì)量評價指標(biāo)維度。喬春江和張靜（2010）[3]探索構(gòu)建區(qū)域初中教學(xué)質(zhì)量評價體系，通過對學(xué)校教學(xué)實施綜合過程管理、會考和中考成績、學(xué)校報考率的量化考核來評價教學(xué)質(zhì)量。三是以客觀評價為依據(jù)，探索教學(xué)質(zhì)量評價方法。在評價方法的探索上，裴少婧和蘇雅（2021）[4]構(gòu)建高校教學(xué)質(zhì)量評價指標(biāo)體系，并采用層次分析法對評價指標(biāo)進(jìn)行量化，使用模糊綜合評判法完善高校教師教學(xué)質(zhì)量的評價問題。

綜上，可以看出傳統(tǒng)的學(xué)校教學(xué)質(zhì)量評價主要以學(xué)業(yè)成績和升學(xué)率為衡量標(biāo)準(zhǔn)，忽視了學(xué)生綜合素質(zhì)和個性發(fā)展，也忽視了學(xué)校的努力，且計算方法傾向于分維度評價，對綜合評價模型的探索研究較少。本文旨在結(jié)合灰色關(guān)聯(lián)理論和TOPSIS 方法構(gòu)建學(xué)校教學(xué)質(zhì)量評價模型，運用相對距離衡量學(xué)校教學(xué)質(zhì)量。

二、教學(xué)質(zhì)量評價模型構(gòu)建

灰色關(guān)聯(lián)分析模型是灰色系統(tǒng)理論的核心之一，其基本方法是觀測序列曲線的幾何形狀，并依據(jù)幾何形狀的相似度判斷事物的聯(lián)系程度。幾何形狀越接近，說明序列之間的關(guān)聯(lián)度越大，反之越小。該方法自1982 年提出以來，在各行各業(yè)得到廣泛應(yīng)用。

TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）法是一種逼近理想解排序法，常用于多目標(biāo)決策分析。TOPSIS 法對數(shù)據(jù)分析資料要求低，且易于理解計算，因此在各領(lǐng)域拓展迅速且應(yīng)用廣泛。TOPSIS 法的實質(zhì)是根據(jù)實際情況與理想狀態(tài)之間的距離衡量被測事物的發(fā)展水平。但是，僅以距離作為尺度只能反映數(shù)據(jù)之間的位置關(guān)系，無法體現(xiàn)數(shù)據(jù)的動態(tài)變化。

基于此，將以上兩種方法結(jié)合使用，建立基于灰色關(guān)聯(lián)度法和TOPSIS 法的學(xué)校教學(xué)質(zhì)量評價模型，綜合灰色關(guān)聯(lián)程度和歐式距離判斷理想和現(xiàn)實狀態(tài)的接近程度，從而對學(xué)校教學(xué)質(zhì)量進(jìn)行評價。

（一）指標(biāo)處理

由于各指標(biāo)的單位和含義不同，評價指標(biāo)通常具有不同的量綱。為了消除不同量綱對分析結(jié)果的影響，建模前對所有指標(biāo)進(jìn)行無量綱化處理。

其中，xij表示第i 個評價對象的第j 個指標(biāo)，m 表示參與評價對象總數(shù)，n 表示評價指標(biāo)總數(shù)。

對指標(biāo)進(jìn)行無量綱化處理的公式為：

接著，對“成本型”指標(biāo)進(jìn)行正向化處理，正向化的處理公式為：

其中，x'ij為標(biāo)準(zhǔn)化后的值，x'j為需處理變量的所屬列值，max（x'j）表示該指標(biāo)所屬列的最大值。

（二）指標(biāo)權(quán)重的確定

指標(biāo)權(quán)重的確定方法主要有兩種：一是主觀賦權(quán)法，主要有德爾菲（專家調(diào)查）法、層次分析法（AHP）等，依賴于評價者的知識、經(jīng)驗、直覺。二是客觀賦權(quán)法，主要有相關(guān)系數(shù)法、熵權(quán)法。主客觀賦權(quán)法各有優(yōu)劣，主觀賦權(quán)法帶有很強的主觀性，客觀賦權(quán)法僅依賴于數(shù)據(jù)信息，得出的結(jié)論可能與經(jīng)驗相悖。因此，本文在確定指標(biāo)權(quán)重時使用主客觀賦權(quán)結(jié)合的方法。分析過程中，首先使用層次分析法、熵值法分別計算各指標(biāo)權(quán)重，隨后將兩者乘積結(jié)果歸一化處理作為最終權(quán)重。

1.層次分析法

層次分析法（AHP）是將復(fù)雜問題分層，將其分解成多個目標(biāo)，在此基礎(chǔ)上進(jìn)行定性和定量分析。其依據(jù)專家主觀判斷，將所有變量兩兩互相比較，采用相對重要性排序尺度，構(gòu)造重要性程度為1—9 的判斷矩陣，最終得出該方法確定的權(quán)重τ，構(gòu)造方法如表1所示。

表1 判斷矩陣

2.熵值法

熵值法（Entropy Method）是很常用的客觀賦權(quán)方法。其通過計算信息熵，得出變異系數(shù)，評估變異程度，從而判斷指標(biāo)權(quán)重的大小。一般來講，信息熵越大，差異系數(shù)越大，則權(quán)重越小。權(quán)重計算步驟如下：首先使用公式（2）、公式（3）對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和正向化處理，并確定比重；接著計算熵值ej=，并得出變異系數(shù)δj=1-ej；最后計算出客觀權(quán)重向量矩陣ν=（ν1，ν2，ν3，…，νj），1≤j≤n，其中νj=。

3.確定組合權(quán)重

通過上述方法分別得出主客觀權(quán)重后，將其進(jìn)行歸一化處理，得出最終權(quán)重向量矩陣ω =（ω1，ω2，ω3，…，ωj），1≤j≤n，其中。

（三）確定標(biāo)準(zhǔn)化評價矩陣

（四）確定理想解矩陣

（五）計算評價指標(biāo)與理想解的灰色關(guān)聯(lián)系數(shù)

其中，ρ 為分辨系數(shù)，取值范圍為ρ ∈[0，1]，通常取值為ρ=0.5。

（六）確定指標(biāo)灰色關(guān)聯(lián)系數(shù)最大值ε i+和最小值εi-

（七）計算評價指標(biāo)與最大值和最小值的距離

（八）計算灰色關(guān)聯(lián)相對貼近度

（九）評價結(jié)果分析

根據(jù)灰色關(guān)聯(lián)度的相對貼近度大小，評價各學(xué)校的教學(xué)質(zhì)量。

三、實證研究

高中教育包含普通高中、成人高中和職業(yè)高中教育。其上承初中義務(wù)教育階段教育，下啟以大學(xué)教育為主的高等教育。同時，高中教育也承擔(dān)為社會培養(yǎng)合格人才的職責(zé)。因此，普通高中教育教學(xué)質(zhì)量不能僅僅以升學(xué)率考量，更應(yīng)注重學(xué)生的全面發(fā)展，承擔(dān)起提高全體公民素質(zhì)的責(zé)任，因此用單一的變量和標(biāo)準(zhǔn)來評價學(xué)校的教學(xué)質(zhì)量，不僅缺乏科學(xué)性、客觀性與公平性，還缺少對培養(yǎng)學(xué)生全面發(fā)展的引導(dǎo)。2020年《深化新時代教育評價改革總體方案》提出普通高中主要評價學(xué)生全面發(fā)展的培養(yǎng)情況。為了對每所學(xué)校做出更公平的評價，需要構(gòu)建科學(xué)、合理的評價指標(biāo)體系。

（一）指標(biāo)體系的構(gòu)建

教學(xué)質(zhì)量評價不僅需要計算學(xué)生的考試成績和升學(xué)率，還要衡量學(xué)生的成長和綜合素質(zhì)，因此可以將教學(xué)質(zhì)量評價劃分為學(xué)業(yè)考試成績和非學(xué)業(yè)問卷調(diào)查兩個子系統(tǒng)。本文依據(jù)《關(guān)于推進(jìn)中小學(xué)教育質(zhì)量綜合評價改革的意見》，對學(xué)校教學(xué)質(zhì)量評價指標(biāo)進(jìn)行分析，建立了學(xué)業(yè)和非學(xué)業(yè)兩個一級指標(biāo)，在兩個一級指標(biāo)下建立若干個二級指標(biāo)和三級指標(biāo)（見表2）。

表2 教學(xué)質(zhì)量評價指標(biāo)體系

（二）數(shù)據(jù)來源與預(yù)處理

1.數(shù)據(jù)來源

本文以某地區(qū)2020 年高考考生為研究對象進(jìn)行實證研究，剔除缺失的考生信息，共有6 所學(xué)校739名考生計入實證分析范圍。中、高考考試數(shù)據(jù)為高利害數(shù)據(jù)，為了保證考試數(shù)據(jù)的真實性，文中涉及的中、高考考試數(shù)據(jù)來源于該地區(qū)教育考試院。非學(xué)業(yè)問卷調(diào)查數(shù)據(jù)來源于該地區(qū)教育質(zhì)量評估監(jiān)測中心普通中小學(xué)辦學(xué)質(zhì)量綠色評價項目。本文分析時使用了該項目的部分問卷數(shù)據(jù)，使用前檢驗問卷數(shù)據(jù)的信度系數(shù)克隆巴赫α =0.862，效度系數(shù)KMO=0.895（sig≈0.00＜0.05，說明問卷數(shù)據(jù)的信度和效度較高，評價結(jié)果具有穩(wěn)定性和可靠性）。

2.數(shù)據(jù)預(yù)處理

建模之前，數(shù)據(jù)預(yù)處理時將中、高考成績標(biāo)準(zhǔn)化，一方面可以解決中、高考成績滿分值不同的問題，另一方面可以消除兩次考試難度不同帶來的分析難題。將中、高考成績均標(biāo)準(zhǔn)化為均值為70、方差為10 的標(biāo)準(zhǔn)成績，處理后的成績數(shù)據(jù)均分布在0—100 之間，易于理解。

（1）學(xué)生中、高考成績處理

按照上述方法，將學(xué)生中考和高考成績作標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化計算公式如下：

（2）學(xué)生增值成績處理

學(xué)生增值成績主要衡量經(jīng)過三年學(xué)習(xí)，學(xué)生是否獲得了學(xué)業(yè)進(jìn)步。長期以來，我國學(xué)者積極探索增值評價，并取得很大進(jìn)展。探索過程中，多層線性模型、殘差模型、SGP 學(xué)生成長模型等專業(yè)教育統(tǒng)計模型逐漸被熟知。但不同模型都有相似的衡量標(biāo)準(zhǔn)，即通過計算得出學(xué)生“出口成績”（高考成績）和“入口成績”（中考成績）的差值，用以判斷學(xué)生學(xué)習(xí)成長情況。本文將標(biāo)準(zhǔn)化高考成績與標(biāo)準(zhǔn)化中考成績的差值算作學(xué)生的增值成績，同時將增值成績也做均值為70、方差為10 的標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化計算公式如下：

（3）非學(xué)業(yè)問卷調(diào)查數(shù)據(jù)指標(biāo)處理

非學(xué)業(yè)問卷調(diào)查數(shù)據(jù)主要以問卷調(diào)查的方式收集，該項目的問卷采用李克特五級量表形式設(shè)計，題目選項按照符合程度排序，“非常不符合”“比較不符合”“一般”“比較符合”“非常符合”五級量表分別使用1—5 代替。處理問卷數(shù)據(jù)時，將其轉(zhuǎn)化為數(shù)值型數(shù)據(jù)，并將每個二級指標(biāo)中的三級指標(biāo)作為該指標(biāo)的作答結(jié)果。

（三）數(shù)據(jù)分析

數(shù)據(jù)預(yù)處理完成后，使用公式（2）、（3）進(jìn)行指標(biāo)無量綱化和“成本型”指標(biāo)正向化處理。使用層次分析法確定主觀權(quán)重時，構(gòu)造如表3 所示判斷矩陣，檢驗系數(shù)CR=0.088＜0.1，一致性檢驗通過。同時使用熵值法確定客觀權(quán)重，最終得出最終權(quán)重矩陣，如表4 所示。確定權(quán)重后出按照上述建模步驟計算得出灰色關(guān)聯(lián)相對貼近度，分別計算各考生的綜合得分，評估各學(xué)校教學(xué)質(zhì)量。

表3 層次分析法判斷矩陣

表4 各指標(biāo)權(quán)重

（四）結(jié)果分析

使用上述建模方法，計算出每位考生的綜合得分及每所學(xué)校的綜合得分，如表5 所示。由表5 可知，該地區(qū)綜合評價得分為0.466，標(biāo)準(zhǔn)差為0.064。D、E兩所學(xué)校的平均分低于區(qū)域平均分，教學(xué)質(zhì)量較差；B、D、E 三所學(xué)校的標(biāo)準(zhǔn)差大于區(qū)域標(biāo)準(zhǔn)差，說明該三所學(xué)?？忌C合得分離散程度較大。使用每所學(xué)校學(xué)生綜合得分的最小值、25%分位數(shù)、中位數(shù)、75%分位數(shù)和最大值作箱線圖，如圖1 所示。從圖1 可以看出，除D 學(xué)校外，其他五所學(xué)校的箱體位置相當(dāng)，說明學(xué)校D的教學(xué)質(zhì)量較差。F 學(xué)校的箱體長度小于其他學(xué)校，說明F 學(xué)校離散程度更小，成績更加均衡。C 學(xué)校和E學(xué)校箱體位置和長度相當(dāng)，但E 學(xué)校成績上下限均大于C 學(xué)校，說明C 學(xué)校較E 學(xué)校成績更加均衡。同理，A學(xué)校、B 學(xué)校成績離散程度相當(dāng)，但A 學(xué)校成績比C學(xué)校均衡。結(jié)合表5 數(shù)據(jù)也可驗證以上推論。

表5 不同學(xué)校綜合得分情況

圖1 不同學(xué)校綜合得分箱線圖

四、結(jié)論

通過建立基于灰色關(guān)聯(lián)度法和TOPSIS 法的學(xué)校教學(xué)質(zhì)量評價模型，綜合各維度教學(xué)數(shù)據(jù)評價學(xué)校教學(xué)質(zhì)量，探索評價學(xué)校教學(xué)質(zhì)量的新方法。新評價方法的應(yīng)用為教學(xué)質(zhì)量評價提供了新思路，該方法在評價教學(xué)質(zhì)量過程中不僅計算了高考成績、增值成績等學(xué)業(yè)成績，還引入學(xué)生非學(xué)業(yè)數(shù)據(jù)，將各維度教學(xué)質(zhì)量評價結(jié)果進(jìn)行量化，一定程度上避免了傳統(tǒng)的“唯升學(xué)”“唯分?jǐn)?shù)”的評價方法，能促進(jìn)學(xué)校構(gòu)建體現(xiàn)學(xué)生全面發(fā)展的教學(xué)體系，為推進(jìn)“立德樹人”和“五育”全面發(fā)展教學(xué)目標(biāo)提供動力。

此外，本文首次使用綜合評價法評價學(xué)校教學(xué)質(zhì)量，存在一定缺點和不足。第一，從表4 最終指標(biāo)權(quán)重數(shù)值可以看出，“增值成績”“人格品質(zhì)”“科學(xué)素養(yǎng)”這三個指標(biāo)權(quán)重值較小，不符合傳統(tǒng)認(rèn)知。其原因可能有：①研究中雖然使用組合權(quán)重的方法確定最終權(quán)重，但實際計算的權(quán)重仍受數(shù)據(jù)客觀規(guī)律和客觀權(quán)重的影響。②“增值成績”的計算方法較為簡單，“人格品質(zhì)”“科學(xué)素養(yǎng)”兩個指標(biāo)收集的原始數(shù)據(jù)可能存在瑕疵。第二，由于此類評價方法的應(yīng)用需要數(shù)據(jù)積累，因此在實際分析和計算時，缺少結(jié)果對比分析。以上缺點和不足，在接下來的研究中亟待解決。