開放型試題AHP評(píng)分逆序問題研究

馮艷賓 馬洪超

1 引言

開放型試題具有條件開放性、過程開放性、結(jié)論開放性等特征，它注重探究性和生成性的考查，能更好地考查出被試的靈活性和創(chuàng)造性，已被廣泛地應(yīng)用到語言測(cè)試和人才評(píng)估等領(lǐng)域中。由于開放型試題沒有固定標(biāo)準(zhǔn)答案，開放型試題的評(píng)分常常帶有比較明顯的主觀性。開放型試題評(píng)價(jià)標(biāo)準(zhǔn)的不確定性與主觀性使得它的運(yùn)用受到一定限制。

為克服開放性題型評(píng)分的主觀性，等級(jí)描述型評(píng)定方法（SOLO分類評(píng)價(jià)法）和要素分析型評(píng)定方法（PTA量表法）已被應(yīng)用到開放性考試中去（高凌飚，2004，文慶城，2005，趙利霞,2010）。SOLO分類評(píng)價(jià)法主要采用等級(jí)描述的方法，按等級(jí)標(biāo)準(zhǔn)對(duì)被評(píng)價(jià)者的整體情況進(jìn)行賦值，它適用于層次分明、強(qiáng)調(diào)邏輯的分析型、論述型的開放型試題；PTA量表法則是一種要素分析的方法，其中的因素又分為不同等級(jí)，然后將基本單元的標(biāo)定分?jǐn)?shù)加總求和。PTA量表法則更適合于分類細(xì)致，操作性強(qiáng)，更傾向于操作性、表現(xiàn)性的開放型試題。在決策分析中SOLO分類評(píng)價(jià)法和PTA量表法中的等級(jí)判定和要素分析均帶有很強(qiáng)的主觀性，評(píng)分結(jié)果并不精確。層次分析法（Analytic Hierarchy Process，AHP）雖然是一種要素分析與等級(jí)相結(jié)合的方法，但AHP并非側(cè)重將所有因素內(nèi)部細(xì)分為若干個(gè)等級(jí)，而是分析因素之間的關(guān)系，注重因素在被試之間的比較，關(guān)注因素之間的權(quán)重計(jì)算。它是一種決策分析法，更適用于以選拔為目的的開放型試題。

2 層次分析法

層次分析法（Analytic Hierarchy Process，AHP）是由美國(guó)運(yùn)籌學(xué)家Saaty教授提出的。其基本思想是通過分析復(fù)雜問題包含的各種因素及其相互關(guān)系，將問題所設(shè)計(jì)的全部因素按不同的層次進(jìn)行分類，標(biāo)出上一層與下層因素之間的關(guān)系，形成一個(gè)多層次結(jié)構(gòu)。在每一層次，均按某一準(zhǔn)則對(duì)該層因素進(jìn)行相對(duì)重要性判斷，構(gòu)造判斷矩陣，并通過解矩陣特征值，確定因素的排序權(quán)重，最后再進(jìn)一步計(jì)算出各層次因素對(duì)總目標(biāo)的組合權(quán)重。AHP是一種定性和定量相結(jié)合的多屬性決策方法，是將決策者的經(jīng)驗(yàn)判斷進(jìn)行量化決策分析的有效方法。AHP層次結(jié)構(gòu)模型的構(gòu)建，可分為目標(biāo)層、準(zhǔn)則層和方案層（見圖1）。對(duì)從屬于上一層的同層各因素，采用1～9標(biāo)度進(jìn)行兩兩比較，建立兩兩比較判別矩陣A。表1是兩兩比較矩陣的標(biāo)度表。

表1 1～9標(biāo)度表

構(gòu)造出兩兩比較矩陣A后，要對(duì)矩陣A進(jìn)行一致性檢驗(yàn)，即先求出衡量?jī)蓛杀容^矩陣A的一致性指標(biāo)CI=，再基于隨機(jī)一致性指標(biāo)RI構(gòu)造一致性比率CR=，當(dāng)CR＜0.1時(shí)可以認(rèn)為A的不一致程度在容許范圍之內(nèi)，上述公式中，λ是矩陣A的最大特征值，n是矩陣A的階數(shù)。經(jīng)一致性檢驗(yàn)通過后，根據(jù)各個(gè)比較矩陣得出的權(quán)向量，逐層進(jìn)行線性加權(quán)，計(jì)算出方案層諸方案對(duì)總目標(biāo)的測(cè)評(píng)指標(biāo)值，根據(jù)該測(cè)評(píng)指標(biāo)的值的大小進(jìn)行決策。

2.1 AHP基本步驟

下面以留學(xué)生漢語口語測(cè)評(píng)為例，說明層次分析法的分析步驟。學(xué)生的口語測(cè)評(píng)結(jié)果為目標(biāo)層；準(zhǔn)則層分為：話題描述、詞語表達(dá)和朗讀回答；方案層是待評(píng)價(jià)的學(xué)生。準(zhǔn)測(cè)層中的三個(gè)測(cè)評(píng)指標(biāo)的權(quán)重可通過構(gòu)建判斷矩陣來計(jì)算獲得，在此設(shè)定話題描述的權(quán)重為50%，詞語表達(dá)的權(quán)重為35%，朗讀回答的權(quán)重為15%。層次分析法的過程如圖1。

圖1 留學(xué)生口語測(cè)評(píng)的層次結(jié)構(gòu)

由圖1的層次結(jié)構(gòu)知，方案層（參加測(cè)驗(yàn)的學(xué)生）依次對(duì)于準(zhǔn)則層：話題描述、詞語表達(dá)、朗讀回答三個(gè)測(cè)評(píng)指標(biāo)進(jìn)行兩兩比較可得出了下面三個(gè)判斷矩陣（見表2）。

表2 被試學(xué)生的三個(gè)測(cè)評(píng)指標(biāo)兩兩比較矩陣

經(jīng)計(jì)算得三個(gè)矩陣的最大特征值λmax均等于3，一致性比率CR均等于0，滿足一致性，說明學(xué)生的測(cè)評(píng)沒有誤差。話題描述準(zhǔn)則下的比較矩陣如下：根據(jù)公式Aw=λmaxw，求得λmax對(duì)應(yīng)的特征向量并歸一化后得w1=(1/6,2/3,1/6)T，即方案層三個(gè)學(xué)生在話題描述準(zhǔn)則下的權(quán)值分別為1/6,2/3,1/6。同理，可求得方案層三個(gè)學(xué)生在話語表達(dá)和朗讀回答準(zhǔn)則下的權(quán)值，結(jié)果見表3。

表3 被試學(xué)生在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值

現(xiàn)已知準(zhǔn)則層三個(gè)測(cè)評(píng)準(zhǔn)則的權(quán)重分別是50%、35%、15%，根據(jù)“線性加權(quán)和”得方案層三個(gè)學(xué)生總測(cè)評(píng)指標(biāo)分別為：

根據(jù)三個(gè)學(xué)生的總測(cè)評(píng)指標(biāo)大小關(guān)系0.4560＞0.4187＞0.1253,可得三個(gè)學(xué)生的測(cè)評(píng)結(jié)果順序?yàn)椋簩W(xué)生2＞學(xué)生1＞學(xué)生3。

2.2 AHP評(píng)分中逆序現(xiàn)象

在準(zhǔn)則層各因素權(quán)重不變的情況下，方案層被試數(shù)量的增加或減少，會(huì)帶來兩兩比較矩陣的變化，這種變化可能會(huì)對(duì)最終的測(cè)評(píng)結(jié)果有影響。以下在方案層原有被試的基礎(chǔ)上，增加一名學(xué)生4，設(shè)定該學(xué)生的能力特征和學(xué)生2完全一致。通過對(duì)準(zhǔn)則層的三個(gè)測(cè)評(píng)指標(biāo)進(jìn)行兩兩比較，得出兩兩比較矩陣，見表4。

經(jīng)檢驗(yàn)，三個(gè)判斷矩陣的最大特征值λ均等于3，一致性比率CR均等于0，滿足一致性，說明對(duì)學(xué)生的測(cè)評(píng)沒有誤差。進(jìn)一步根據(jù)各個(gè)比較矩陣的最大特征向量，求得各被試學(xué)生測(cè)評(píng)權(quán)值，見表5。

表4 增加了學(xué)生的三個(gè)測(cè)評(píng)指標(biāo)兩兩比較矩陣

表5 被試學(xué)生在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值

根據(jù)“線性加權(quán)和”得方案層四個(gè)學(xué)生總測(cè)評(píng)指標(biāo)分別為:

根據(jù)四個(gè)學(xué)生的總測(cè)評(píng)指標(biāo)大小關(guān)系0.3238＞0.2960=0.2960＞0.0842，得四個(gè)學(xué)生的測(cè)評(píng)結(jié)果順尋為學(xué)生1＞學(xué)生2=學(xué)生4＞學(xué)生3。增加了學(xué)生4，造成了學(xué)生1和學(xué)生2的測(cè)評(píng)結(jié)果順序發(fā)生逆轉(zhuǎn)。

2.3 逆序的原因和解決辦法

不少文獻(xiàn)對(duì)層次分析法中的逆序問題進(jìn)行的多方面研究，面對(duì)逆序出現(xiàn)的各種復(fù)雜情況，解決方法也主要是根據(jù)具體類型的逆序現(xiàn)象提出相應(yīng)的解決方案（Belton V,1983，吳江,1990，徐澤水,2004）。在單一準(zhǔn)則下(即準(zhǔn)則層只有一個(gè)測(cè)評(píng)指標(biāo)），方案層中新方案的增加不改變?cè)蟹桨傅呐判颍ㄍ艉疲?993）。而多準(zhǔn)則（即準(zhǔn)則層有多個(gè)測(cè)評(píng)指標(biāo)）條件下，方案層中增加新方案所帶來的逆序問題是由獲得總測(cè)評(píng)指標(biāo)的“線性加權(quán)和”規(guī)則造成（劉奇志，1995）。設(shè)上文案例中準(zhǔn)則層的三個(gè)測(cè)評(píng)指標(biāo)的權(quán)重為α1，α2，α3，方案層三個(gè)方案分別在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值為aij（i,j=1,2,3），見表6。

表6 三個(gè)學(xué)生在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值

學(xué)生i的總測(cè)評(píng)指標(biāo)Si= α1ai1+α2ai2+α3ai3（i=1,增加學(xué)生4（能力和學(xué)生2相同）后，新方案層四個(gè)學(xué)生分別在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值為i,j=1,2,3,4），見表7。這 時(shí) ，學(xué) 生i的 總 測(cè) 評(píng) 指 標(biāo)能力相同，則有

表7 四個(gè)學(xué)生在三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)值

在方案層增加了學(xué)生4后，由于學(xué)生1和學(xué)生2在準(zhǔn)則層三個(gè)測(cè)評(píng)指標(biāo)下的權(quán)重由aij變成了，進(jìn)而通過“線性加權(quán)和”得到的總測(cè)評(píng)指標(biāo)和之間的大小關(guān)系并不總與S1和S2之間的大小關(guān)系保持一致，從而造成逆序產(chǎn)生（汪浩，1993）。

為了克服上述由于方案層增加(或減少)新方案而帶來的逆序問題，將“線性加權(quán)和”規(guī)則轉(zhuǎn)換成“指數(shù)加權(quán)積”規(guī)則，即總測(cè)評(píng)指標(biāo)當(dāng)方案層增加新方案時(shí)，得到新的的總測(cè)評(píng)指標(biāo)之間的大小關(guān)系和Si是一致的（劉奇志，1995）。

下面，采用總測(cè)評(píng)指標(biāo)的“指數(shù)加權(quán)積”方法以及表3的數(shù)據(jù)，求得方案層是三個(gè)學(xué)生時(shí)的總測(cè)評(píng)指標(biāo)值為：

由三個(gè)學(xué)生的總測(cè)評(píng)指標(biāo)值，得三個(gè)學(xué)生的優(yōu)劣次序?yàn)椋簩W(xué)生2＞學(xué)生1＞學(xué)生3。

在方案層增加學(xué)生4的情況下，采用總測(cè)評(píng)指標(biāo)的“指數(shù)加權(quán)積”方法以及表5的數(shù)據(jù),求得四個(gè)學(xué)生總測(cè)評(píng)指標(biāo)值分別為：

根據(jù)四個(gè)學(xué)生的總測(cè)評(píng)指標(biāo)值，得四個(gè)學(xué)生的優(yōu)劣次序?yàn)椋簩W(xué)生2=學(xué)生4＞學(xué)生1＞學(xué)生3,其中學(xué)生1和學(xué)生2的優(yōu)劣關(guān)系沒有發(fā)生改變。

3 結(jié)論

在決策過程中，通過引入AHP方法，可以更好地控制評(píng)分者的心理、經(jīng)驗(yàn)、決策水平帶來的誤差，實(shí)現(xiàn)主觀評(píng)價(jià)的客觀化，避免由于主觀原因造成的誤差。但是采用總測(cè)評(píng)指標(biāo)的“線性加權(quán)和”規(guī)則的層次分析法求得的評(píng)級(jí)結(jié)果會(huì)隨著評(píng)價(jià)對(duì)象數(shù)量的變化而出現(xiàn)逆序現(xiàn)象，從而干擾決策者的評(píng)價(jià)結(jié)果，而采用“指數(shù)加權(quán)積”規(guī)則的層次分析法，在兩兩比較矩陣一致的條件下，可有效解決逆序現(xiàn)象，實(shí)現(xiàn)了評(píng)價(jià)結(jié)果的保序性。

AHP方法廣泛應(yīng)用與決策評(píng)價(jià)當(dāng)中。在大規(guī)?？荚囍?，隨著考生數(shù)量的增加，兩兩比較次數(shù)會(huì)大大增加，構(gòu)成的矩陣也會(huì)增大。當(dāng)數(shù)量增大到一定程度時(shí)，評(píng)價(jià)者對(duì)準(zhǔn)則把握的準(zhǔn)確性也將降低。所以，在多測(cè)評(píng)指標(biāo)的考核中，需要精細(xì)區(qū)分考生差異的優(yōu)中選優(yōu)時(shí)，AHP方法的效果會(huì)更好。此外，AHP法比較適合于計(jì)算各指標(biāo)因子的權(quán)重，但對(duì)具體模糊指標(biāo)的評(píng)定不夠準(zhǔn)確，在遇到因素眾多、規(guī)模較大的問題時(shí)，判斷矩陣難以滿足一致性的要求。

[1] 高凌飚，吳維寧.開放型試題如何評(píng)分?——介紹兩種質(zhì)性評(píng)分方法[J].學(xué)科教育，2004(8):1-6.

[2] 文慶城，許應(yīng)華.PTA量表法評(píng)價(jià)化學(xué)猜想與假設(shè)能力探討[J].教學(xué)與管理,2005(6):39-40.

[3] 趙利霞.國(guó)內(nèi)SOLO分類評(píng)價(jià)理論研究文獻(xiàn)綜述:1998—2008[J].江蘇教育研究,2010(19):10-14.

[4] Belton V,G.T.,On a shortcoming of Saaty's method of analytic hierarchies.Omega,1983.3(11):228-230.

[5] 吳江.AHP用于方案選擇時(shí)的逆序問題[J].系統(tǒng)工程理論與實(shí)踐,1990(3):49-52.

[6] 徐澤水.AHP中新元素導(dǎo)入的強(qiáng)保序性研究[J].控制與決策,2004(4):433-436.

[7] 劉奇志.層次分析積因子方法的保序性[J].系統(tǒng)工程學(xué)報(bào),1995(1):61-70.

[8] 汪浩,馬達(dá).層次分析標(biāo)度評(píng)價(jià)與新標(biāo)度方法[J].系統(tǒng)工程理論與實(shí)踐,1993,13(9),24-26.