開放式情境判斷測驗的自動化評分

摘 "要 "受限于評分成本， 開放式情境判斷測驗難以廣泛使用。本研究以教師勝任力測評為例， 探索了自動化評分的應(yīng)用。針對教學(xué)中的典型問題場景開發(fā)了開放式情境判斷測驗， 收集中小學(xué)教師作答文本， 采用有監(jiān)督學(xué)習(xí)策略分別從文檔層面和句子層面應(yīng)用深度神經(jīng)網(wǎng)絡(luò)識別作答類別， 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）效果理想， 各題評分準(zhǔn)確率為70%～88%， 與人類評分一致性高， 人機評分的相關(guān)系數(shù)r為0.95， 二次加權(quán)Kappa系數(shù)（Quadratic Weighted Kappa， QWK）為0.82。結(jié)果表明， 機器評分可以獲得穩(wěn)定的效果， 自動化評分研究能夠助力于開放式情境判斷測驗的廣泛應(yīng)用。

關(guān)鍵詞 "情境判斷測驗， 自動化評分， 教師勝任力， 開放式測驗， 機器學(xué)習(xí)

分類號 "B841

1 "引言

在人事測評領(lǐng)域， 情境判斷測驗（Situational Judgment Test， SJT）因其測驗內(nèi)容的獨特性和較高的表面效度而廣為流行， 常用于人員選拔與評估。題干通常呈現(xiàn)一系列與工作相關(guān)的情境， 選項則是若干典型行為反應(yīng)， 要求受測者選擇最符合自己實際做法的一項或?qū)x項排序（漆書青， 戴海琦， 2003）。情境判斷測驗是測量勝任力的良好工具， 比面試成本更低， 比自陳式量表更生動， 在預(yù)測工作績效方面比一般認(rèn)知能力測驗、人格測驗表現(xiàn)更佳（Burrus et al.， 2012; McDaniel et al.， 2007; McDaniel et al.， 2011; Oostrom et al.， 2012; Slaughter et al.， 2014; Weekley amp; Ployhart， 2005）。

按照開放程度的不同， 情境判斷測驗作答形式總體可分為封閉式（Closed Response Formats）和開放式（Open-ended Formats）。封閉式即傳統(tǒng)的多項選擇式（Multiple Choice， MC）; 開放式即構(gòu)答反應(yīng)式（Constructed Response， CR）， 題目不呈現(xiàn)選項， 被試可自由作答， 主要包括書面回答式（Written- constructed）、視聽構(gòu)建式（Audio-visual Constructed）、情景面試（Situational Interview）等。其中， 書面回答式要求受測者寫出做法; 視聽構(gòu)建式一般用多媒體呈現(xiàn)情境， 要求受測者口頭回答或表演， 并進(jìn)行錄制（Oostrom et al.， 2010， 2011）; 情景面試則是主考官與受測者在面對面（或線上）的情況下問答。

封閉式是目前主流的測驗形式， 方便標(biāo)準(zhǔn)化處理和快速計分。然而這種形式也易受個體作答態(tài)度、猜測和應(yīng)試策略的影響， 受測者易從選項中獲取提示， 在高利害場景中存在擇優(yōu)作答情況， 難以有效區(qū)分高勝任力個體（McDaniel et al.， 2001; Robson et al.， 2007）。此外， 對受測者而言， 選項本身含有額外的認(rèn)知負(fù)荷， 需閱讀完所有選項并辨析含義、做比較判斷， 這一過程中認(rèn)知能力等額外變量會對測驗結(jié)果產(chǎn)生影響（Lievens et al.， 2015; Marentette et al.， 2012）。

開放式作答一定程度上可以解決這些問題， 這種形式不局限于固定答案， 能夠給予受測者更多自由表達(dá)的空間（Finch et al.， 2018）， 促進(jìn)受測者對主題材料的深入理解（Bacon， 2003; Kastner amp; Stangla， 2011; Rogers amp; Harley， 1999）， 使其有更高的參與動機、更沉浸地做出反應(yīng)（Arthur et al.， 2002; Edwards amp; Arthur， 2007）。開放性SJT題項認(rèn)知負(fù)荷較小， 猜測被最小化， 與傳統(tǒng)多項選擇式相比， 具有更理想的效標(biāo)關(guān)聯(lián)效度（Funke amp; Schuler， 1998）和預(yù)測效度（Arthur et al.， 2002; Funke amp; Schuler， 1998; Lievens et al.， 2019）， 更接近現(xiàn)實生活中的思考與行為過程， 具有更高的生態(tài)效度和表面效度（Kjell et al.， 2019）。

盡管隨著技術(shù)的進(jìn)步， 越來越多的研究者開始探索開放式SJT， 但目前研究仍處于起步階段（Cucina et al.， 2015）。有研究者對書面回答式（Lievens et al.， 2019）和視聽構(gòu)建式（Oostrom et al.， 2010， 2011）的測驗形式進(jìn)行了探索， 是富有創(chuàng)新性的嘗試， 然而評分環(huán)節(jié)仍采用人工評分方式。人工評分的時間和人力成本高（Downer et al.， 2019; Edwards amp; Arthur 2007; Iliev et al.， 2015）， 易受評分者效應(yīng)（Rater Effects）影響（Edwards amp; Arthur， 2007; Lievens et al.， 2019）。在Lievens等（2019）的研究中， 評分員在每個受測者上平均花費約35分鐘， 在Funke和Schuler （1998）的研究中， 使用了3人評分以保證評分質(zhì)量。因此， 在對效率要求高的大規(guī)模施測中， 這類開放式測驗往往會被謹(jǐn)慎選用。評分問題已成為阻礙開放式SJT發(fā)展的重要因素（Iliev et al.， 2015）， 迫切需要解決自動化評分問題。

相較于人工評分， 自動化評分（Automated Scoring）適用于更多元的測評任務(wù)， 成本更低且能夠?qū)崿F(xiàn)即時反饋。而如何實現(xiàn)開放式SJT的自動化評分， 相關(guān)研究甚少， 尚未有明確的做法和系統(tǒng)的研究范式。Guo等（2021）使用自然語言處理（Natural Language Processing， NLP）技術(shù)分析了5個開放式SJT的公開數(shù)據(jù)， 采用Doc2Vec將文本轉(zhuǎn)換為向量， 使用嶺回歸來預(yù)測人格得分， 其平均相關(guān)系數(shù)為0.28 （r = 0.22～0.38）， 相關(guān)性較低， 也并未報告該方法的可靠性和有效性。Tavoosi （2022）設(shè)計了包含4道題目的反生產(chǎn)工作行為（Counterproductive Work Behavior， CWB）開放式SJT， 并采用N-gram方法進(jìn)行主題建模， 抽取了主題詞， 但并未實現(xiàn)評分。

雖無明確的研究范式， 但相關(guān)研究可以提供方法上的借鑒。第一， 開放式SJT的評分標(biāo)準(zhǔn)， 可以參考人工評分標(biāo)準(zhǔn)來設(shè)定。人工評分一般有簡單的評分要點， 再由兩名以上的評分員評分， 在Lievens等（2019）的研究中， 人工評分參照了行為錨定評分表（Behavioral Anchored Rating， BAR）， 評分標(biāo)準(zhǔn)更加具體、客觀， 該表是Smith和Kendall在1963年提出的， 它是一種用于員工績效評級的行為測量工具。第二， 自動化評分算法。按照文本長度可以將自動化評分問題分為兩類， 長文本類型如作文自動化評分（Automated Essay Scoring， AES）， 短文本類型如簡答題自動評分（Automatic Short-answer Grading， ASAG）， 開放式SJT自動化評分問題介于此兩類之間。第三， 自動評分的解釋性和效度驗證。心理測量學(xué)更加關(guān)注評分的可靠性、有效性和公平性， 僅評分模型準(zhǔn)確率高并不能充分說明機器評分的效果。機評效果的評估指標(biāo)還包括與人工評分的相關(guān)系數(shù)、完全一致率、一致率系數(shù)（Kappa）、評分分布的一致性、相關(guān)樣本評分差異t檢驗等（Ramineni et al.， 2012）， Williamson等（2012）提出機器評分的效度驗證框架， 包括評分結(jié)果的解釋、評估、外推、概化和使用5個方面。

其中， 上述第二點自動化評分算法是本研究的核心， 以下詳細(xì)介紹。AES和ASAG適用的問題場景和評估重點皆不同， AES側(cè)重于評估文本的立意、結(jié)構(gòu)、寫作風(fēng)格、語法和連貫性等， 開放程度高， 評分核心是文本特征抽?。≧udner amp; Liang， 2002; Yang et al.， 2022）。而ASAG的文本一般有若干單詞或小短句， 題目有參考答案， 開放程度較低， 是圍繞標(biāo)準(zhǔn)答案的有限開放， 簡答題考察特定知識點， 因此評分核心側(cè)重于評估語義內(nèi)容（Burrows et al.， 2015）， 常見方法有關(guān)鍵詞匹配法， 即作答文本的關(guān)鍵詞越多則分?jǐn)?shù)越高， 或采用相似度算法， 即作答文本與標(biāo)準(zhǔn)答案的相似度越高則分?jǐn)?shù)越高。

不同于以上兩類， 開放式SJT的自動化評分是一個新的問題類型。主要表現(xiàn)為：（1）開放程度不同。既不是完全發(fā)散式（SJT的回答可以被歸類為有限的類別）， 亦不存在標(biāo)準(zhǔn)答案， 在相同問題情境下不同個體有著獨特的解決方案， 并不存在明確的、基于專業(yè)知識的“正確”答案（Whetzel amp; McDaniel， 2009）。（2）評分標(biāo)準(zhǔn)不同。開放式SJT中， 文本挖掘的重點在于自然語言文本與所測心理特質(zhì)的關(guān)系， 某一情境下的不同做法代表著受測者不同的能力水平及特質(zhì)傾向， 而這種傾向的差異正是評估的重點。因而， 開放式SJT的自動化評分很難直接參考既有算法：文本風(fēng)格辨析與所測心理特質(zhì)之間難以建立實際聯(lián)系; 關(guān)鍵詞法更關(guān)注表層語義的相似程度， 并不適用于語義更加豐富的SJT作答文本; 相似度算法亦不適合， 開放式SJT邏輯上并無標(biāo)準(zhǔn)答案， 若采用此方法， 則背離了SJT題目設(shè)計的初衷。

考慮到作答文本中包含不同類型的做法， 可以從文本語義內(nèi)容入手， 嘗試將評分問題轉(zhuǎn)化為文本分類任務(wù)（Lubis et al.， 2021; Ramesh amp; Sanampudi， 2022; Süzen et al.， 2020）。自動文本分類（Automated Text Classification）是將文本自動劃分到某些預(yù)定義類別中的過程（Basu amp; Murthy， 2013）。文本分類的流程主要包括：文本預(yù)處理、特征提取、模型訓(xùn)練、模型評估、模型優(yōu)化與應(yīng)用等部分。這種有監(jiān)督的文本分類流程如圖1所示， 包括兩個階段， 第一個階段是在有標(biāo)簽的訓(xùn)練數(shù)據(jù)上進(jìn)行模型訓(xùn)練， 第二個階段是應(yīng)用訓(xùn)練好的模型對測試數(shù)據(jù)預(yù)測并作性能評估。在兩個階段中， 文本數(shù)據(jù)需要進(jìn)行相同的預(yù)處理和特征提取操作， 例如去停用詞、統(tǒng)計詞頻等， 從而獲取計算機可直接計算的數(shù)值型文本表征。所訓(xùn)練的分類模型可以看作從文本表征到分類標(biāo)簽的映射函數(shù)， 通過指定的機器學(xué)習(xí)算法訓(xùn)練得到， 并實現(xiàn)對分類文本所關(guān)聯(lián)的標(biāo)簽做出預(yù)測。

機器學(xué)習(xí)特別是深度學(xué)習(xí)模型在文本分類（Yang et al.， 2022）任務(wù)中能夠取得較好的結(jié)果。常用的機器學(xué)習(xí)分類算法有支持向量機（Support Vector Machines， SVM）、K近鄰（k-Nearest Neighbor， KNN）、樸素貝葉斯（Naive Bayes）、決策樹（Decision Tree）等。近幾年， 基于深度神經(jīng)網(wǎng)絡(luò)的文本分類方法有了極大突破， 展現(xiàn)出了更強大的性能。深度學(xué)習(xí)的方法是基于預(yù)訓(xùn)練的詞向量模型， 使用如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）等深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)文本分類任務(wù)， 在語料足夠的情況下， 可以表現(xiàn)出極佳的性能， 執(zhí)行文本評分任務(wù)可以達(dá)到接近人的水平， 甚至比人工評分表現(xiàn)出更強的穩(wěn)定性。

綜上而言， 開放式情境判斷測驗具有不可替代的優(yōu)勢， 適用于需對個體進(jìn)行細(xì)粒度刻畫的場景中， 且這類自由式作答文本中蘊含著豐富的情緒情感信息、表征著人格特質(zhì)與行為偏向， 對文本內(nèi)容進(jìn)行挖掘， 可以更全面地測量個體心理， 實現(xiàn)個性化評價。但評分問題目前存在一定困難， 主要有：（1）評分標(biāo)準(zhǔn)的制定。目前評分多依賴于專家經(jīng)驗。（2）自動化評分的實現(xiàn)。評估自由文本本身就具有挑戰(zhàn)性， 在心理測評應(yīng)用場景中， 更是由于計算機不理解作答真實含義， 使得自動化評分難以實現(xiàn)（Kastner amp; Stangla， 2011; Zhang et al.， 2020）。（3）自動化評分的解釋與效度驗證。開放式測驗的自動化評分研究較少， 且難以解釋評分模型輸出的預(yù)測分?jǐn)?shù)的含義， 評分的效度驗證等問題仍有待研究。

本文探索了開放式SJT在教師勝任力測評任務(wù)上的應(yīng)用， 以中小學(xué)教師為研究對象， 基于心理測量學(xué)的框架開發(fā)一套開放式SJT， 結(jié)合典型行為反應(yīng)設(shè)計評分標(biāo)準(zhǔn)， 采用深度學(xué)習(xí)模型實現(xiàn)自動化評分。自動評分過程總體分為三個環(huán)節(jié)：（1）設(shè)定評分規(guī)則， 在人工編碼的基礎(chǔ)上基于該情境下的關(guān)鍵行為， 逐題確定評分規(guī)則， 評分規(guī)則中包含行為反應(yīng)項與對應(yīng)分值; （2）自動文本分類。分別采用文檔層面和句子層面的思路建模， 通過實驗比較多種模型的分類效果， 選用簡單有效的分類模型對全部題目評分; （3）評分性能驗證。從模型性能、機評信效度等多方面驗證評分效果。具體流程如圖2所示。

研究預(yù)期：（1）自主開發(fā)的開放式教師勝任力SJT信效度較好， 能有效區(qū)分教師勝任水平; （2）基于深度學(xué)習(xí)的文本分類模型可應(yīng)用在此類無標(biāo)準(zhǔn)答案的主觀題評分任務(wù)上， 機評準(zhǔn)確性高; （3）機器評分具有較好的信效度， 人機評分存在正向的強相關(guān)。

2 "研究過程

2.1 "被試

深圳市627名中小學(xué)教師參與測試（年齡：26～40歲， M = 31.52歲， SD = 2.2歲）， 其中女性463人， 男性164人， 語數(shù)英三科教師占42.9%， 其余學(xué)科占57.1%。

2.2 "研究工具

2.2.1 "開放式教師勝任力情境判斷測驗

編制過程如下。

確定測驗維度。采用經(jīng)典流程（徐建平， 2004）構(gòu)建中小學(xué)教師勝任特征， 采取行為事件訪談法（Behavioral Event Interview， BEI）對北京市8所中小學(xué)的12名一線教師進(jìn)行半結(jié)構(gòu)化訪談， 其中女性7人， 男性5人， 骨干教師6人。引導(dǎo)受訪者回顧生涯中最成功與最遺憾的事件， 每人訪談2～3小時。對訪談錄音和文本整理后， 歸類匯總頻次較高的關(guān)鍵勝任特征。最終確定勝任力模型如下， 包含4項一級維度和10項二級維度：（1）學(xué)生導(dǎo)向：關(guān)愛學(xué)生、發(fā)展他人; （2）問題解決：動態(tài)決策、靈活應(yīng)變; （3）情緒智力：理解他人、情緒控制、人際溝通; （4）成就動機：責(zé)任心、挑戰(zhàn)困難、堅毅。

編制題目?；谖墨I(xiàn)和訪談， 確定教學(xué)中的五類典型問題情境：學(xué)生管理、課堂教學(xué)、同事相處、學(xué)生輔導(dǎo)、家校溝通。依據(jù)四項一級維度， 選取有代表性的54個問題情境編制成題干與選項， 統(tǒng)一采用指導(dǎo)語“在這樣的情況下， 你會怎么做？”。

專家評定與題目修訂。向河南省54名教學(xué)經(jīng)驗豐富的小學(xué)教師發(fā)布專家評定問卷， 教齡10年以上的占88.24%， 收回有效問卷34份。此版本題目為包含4個選項的單選題， 除了完成測驗， 還需完成評價問卷， 包括：對情境真實程度（5點計分）做出評價; 評定選項， 回答實際、最優(yōu)、最差、補充做法， 并提出修改建議。經(jīng)統(tǒng)計， 情境真實度均值為3.61 （滿分5分）。對選項分布進(jìn)行分析， 發(fā)現(xiàn)存在明顯的優(yōu)勢作答傾向。根據(jù)專家意見， 對試題進(jìn)行修訂， 最終確定包含20道題目的開放式SJT， 分為4個維度：學(xué)生導(dǎo)向（題目號為1、8、9、10、12、16、20）， 問題解決（題目號為3、4、6、7、17、18）， 情緒智力（題目號為2、5、11、19）， 成就動機（題目號為13、14、15）。

2.2.2 "效標(biāo)工具

工作滿意度問卷。采用馮伯麟（1996）編制的教師工作滿意量表， 共26道題， 包含自我實現(xiàn)、工作強度、工資收入、領(lǐng)導(dǎo)關(guān)系、同事關(guān)系5個維度。使用本次收集的數(shù)據(jù)作信效度檢驗， 整體α系數(shù)為0.89 （N = 627）， 5個維度的α系數(shù)分別是：自我實現(xiàn)0.84、工作強度0.76、工資收入0.77、領(lǐng)導(dǎo)關(guān)系0.79、同事關(guān)系0.73。驗證性因子分析結(jié)果如下：χ2 = 1055.595， df = 289， χ2/df = 3.65， RMSEA = 0.065， CFI = 0.868， TLI = 0.851， SRMR = 0.063。

公用教學(xué)理念與學(xué)科教學(xué)理念問卷。其中， 公用教學(xué)理念問卷12道題， 對問卷進(jìn)行驗證性因子分析， 刪去2個因子負(fù)荷低于0.3的題目（題目號為2、12）， 保留10道題。經(jīng)分析， 整體α系數(shù)是0.88 （N = 627）， 模型擬合良好（χ2 = 131.363， df = 35， χ2 /df = 3.75， RMSEA = 0.066， CFI = 0.964， TLI = 0.954， SRMR = 0.029）。學(xué)科教學(xué)理念分為語文、數(shù)學(xué)、英語三科， 各部分的α系數(shù)分別是0.93 （n = 99）、0.68 （n = 86）、0.78 （n = 84）。

綜合教學(xué)水平評估材料。共181人提交了完整材料， 由6名教學(xué)專家評分， 每個維度滿分3分。評估材料涵蓋了教學(xué)的前中后期工作， 具體包括：（1）教學(xué)設(shè)計：教師依據(jù)統(tǒng)一的要求提供一課時的教學(xué)設(shè)計， 評價標(biāo)準(zhǔn)包括教學(xué)依據(jù)、目標(biāo)、重點、難點、方法、過程6個方面; （2）教學(xué)視頻：一個完整的30分鐘以上的課堂教學(xué)錄像， 依據(jù)課堂觀察量表（凌晨， 2020）， 從課堂管理、教學(xué)內(nèi)容、思維培養(yǎng)、情感關(guān)注4個維度對視頻進(jìn)行評分， 量表的α系數(shù)為0.83， 4個維度的α系數(shù)依次為0.67、0.65、0.41、0.69， 驗證性因子分析結(jié)果為：χ2 = 150.12， df = 82， χ2 /df = 1.83， RMSEA = 0.075， CFI = 0.897， TLI = 0.868， SRMR = 0.060。（3）學(xué)生作業(yè)：布置作業(yè)并按照優(yōu)良差各3份提交共9份具有代表性的學(xué)生作業(yè); 由教學(xué)專家對教師的作業(yè)內(nèi)容設(shè)計、作業(yè)評價標(biāo)準(zhǔn)設(shè)計以及對學(xué)生作業(yè)的分析3個部分進(jìn)行評分。

2.3 "數(shù)據(jù)分析

使用SPSS 26.0和Mplus 8.3做測驗質(zhì)量分析， 使用Nvivo 11軟件進(jìn)行人工編碼， 使用Python 3.8進(jìn)行數(shù)據(jù)訓(xùn)練和預(yù)測。

2.4 "確立評分標(biāo)準(zhǔn)

2.4.1 "問題界定

文本評分首先要考慮的是評分標(biāo)準(zhǔn)問題。開放式SJT作答文本的特點為：一個問題的回答中包含若干種做法， 且含解決問題的步驟、邏輯與順序等， 不具有單一的、明確的答案。評分的核心不是該情境下的做法是否正確， 而是文本中的典型行為反應(yīng)模式與教師勝任力模型的契合程度。在本研究中， 不設(shè)定答案模板， 依據(jù)行為錨定（Behavioral Anchored）評分思路， 關(guān)注情境中的特定刺激引發(fā)的關(guān)鍵行為， 由編碼員為文本中的所有回答分類， 并將類別進(jìn)一步聚類為典型行為反應(yīng)集， 并為反應(yīng)項賦予分值。由于不同場景下的關(guān)鍵行為不同， 每道題需單獨設(shè)定評分規(guī)則。

2.4.2 "人工編碼

選取300人的作答文本進(jìn)行人工編碼， 剔除作答時間少于1000秒與明顯不認(rèn)真作答（重復(fù)或無關(guān)文字）的10人， 保留290份文本。選用4名心理學(xué)專業(yè)的研究生編碼， 編碼前統(tǒng)一接受半天培訓(xùn)， 培訓(xùn)內(nèi)容包括測評維度、編碼標(biāo)準(zhǔn)、軟件操作、遇爭議項的處理原則等， 題目被隨機分配。

編碼流程包括兩部分：第一， 確定行為反應(yīng)項。具體地， 每道題由兩名編碼員先通讀文本， 獨立梳理被試所有的行為反應(yīng)項， 再一同修改合并， 為反應(yīng)項聚類， 以確立典型行為反應(yīng)項（10～30類， 多為十幾類）。第二， 人工編碼標(biāo)注（打標(biāo)簽）。一名編碼員在Nvivo軟件中逐句標(biāo)注， 另一名編碼員對編碼結(jié)果核查， 過程中可以提出不同意見， 也可繼續(xù)對編碼規(guī)則合并完善; 每道題編碼完成后導(dǎo)出結(jié)果， 按照ID整理句子標(biāo)注數(shù)據(jù)集。

2.4.3 "制定評分規(guī)則

由上一步驟得到評分規(guī)則中的行為反應(yīng)項， 接下來， 為反應(yīng)項賦予分值。依據(jù)作答結(jié)果與勝任力特征的匹配程度， 為更貼近勝任特征的反應(yīng)項賦予更高分值， 同時關(guān)注行為的豐富度、具體性、全面性、邏輯性等所體現(xiàn)的思維水平和能力的差異， 對各個反應(yīng)項賦分， 分值即為權(quán)重分?jǐn)?shù)， 權(quán)重分?jǐn)?shù)需能夠有效地體現(xiàn)行為反應(yīng)的差異。采用3分制（0～3分）， 1 = 差， 3 = 優(yōu)秀， 0 = 偏題或無效作答。每道題的賦分皆由兩名評分員討論后確定， 直至達(dá)成一致。

2.4.4 "分?jǐn)?shù)合成

基于人工編碼環(huán)節(jié)得到的每個ID的行為反應(yīng)項， 依據(jù)制定評分規(guī)則環(huán)節(jié)得到的反應(yīng)項對應(yīng)的分值， 逐題將每個ID的各行為反應(yīng)項轉(zhuǎn)為分?jǐn)?shù)。一段作答中一般包含多個行為反應(yīng)項， 將其分?jǐn)?shù)加和后合成單道題原始總分， 根據(jù)百分位數(shù)換算成等級分?jǐn)?shù)， 前27%等級分?jǐn)?shù)為3分， 后27%為1分， 得到每道題的得分。除此之外， 還計算了維度分?jǐn)?shù)和測驗總分（即20道題的分?jǐn)?shù)加和）。題目采取3分制（1～3分）， 滿分60分。

2.5 "自動化評分的實現(xiàn)

2.5.1 "數(shù)據(jù)集和評價指標(biāo)

選定ID為1～300的已標(biāo)注文本作為數(shù)據(jù)集， 共20道題目， 6000道回答。每道題的文本中， 按照300人的2 ： 1劃分訓(xùn)練集和測試集。在機器學(xué)習(xí)領(lǐng)域， 對分類任務(wù)的評價一般采用準(zhǔn)確率（Accuracy， Acc）、精確率（Precision， P）、召回率（Recall， R）、F1值等評價指標(biāo)。下面以二分類為例， 對4個指標(biāo)的計算過程進(jìn)行說明。假設(shè)二分類包括正類和負(fù)類， 表1為二分類情況下的混淆矩陣， 矩陣中的元素定義為：1） TP （True Positive）：實際為正類且預(yù)測為正類的樣本個數(shù); 2） TN （True Negative）：實際為負(fù)類且預(yù)測為負(fù)類的樣本個數(shù); 3） FP （False Positive）：實際為負(fù)類且預(yù)測為正類的樣本個數(shù); 4） FN （False Negative）：實際為正類且預(yù)測為負(fù)類的樣本個數(shù)。

準(zhǔn)確率反映模型在所有樣本上的預(yù)測性能， 等于分類正確的樣本數(shù)除以總體樣本數(shù)， 即混淆矩陣中的對角線元素之和除以矩陣中所有元素之和， 即準(zhǔn)確率Acc = （TP + TN） / （TP + FN + FP + TN）。精確率、召回率和F1值三個指標(biāo)在每個類別上需單獨計算。以二分類中的正類為例， 精確率等于將正類樣本預(yù)測為正類的數(shù)量除以所有預(yù)測為正類的樣本數(shù)量， 即P = TP / （TP + FP）; 召回率等于將正類樣本預(yù)測為正類的數(shù)量除以真實的正類樣本數(shù)量， 即R = TP / （TP + FN）; F1值為精確率和召回率的調(diào)和平均值， 即F1 = 2PR / （P + R）。本文中的文本分類主要為多分類任務(wù)， 在計算評價指標(biāo)時先分別在每個類別上計算P、R、F1， 然后根據(jù)每個類別的樣本數(shù)量計算加權(quán)平均值得到最終的精確率、召回率和F1值的評估結(jié)果。

2.5.2 "文檔層面多標(biāo)簽文本分類

傳統(tǒng)的文本分類任務(wù)多是單標(biāo)記學(xué)習(xí)， 每個文本只隸屬于一個類別標(biāo)簽， 在一個類別上標(biāo)記互斥， 用0或1來標(biāo)記， 但實際許多樣本同時屬于多個類別的多個標(biāo)簽。Schapire于1999年提出了多標(biāo)記學(xué)習(xí)， 從標(biāo)簽集合中為每個實例分配最相關(guān)的類標(biāo)簽子集。根據(jù)數(shù)據(jù)集一段作答文本中同時包含多類行為反應(yīng)項的特點， 首先基于文檔層面嘗試多標(biāo)簽（Multi-label）分類方法。

選用第一題作為實驗， 使用深度學(xué)習(xí)算法進(jìn)行分類建模， 從而實現(xiàn)從作答文本到標(biāo)簽體系的自動化映射。在具體操作中， 先進(jìn)行數(shù)據(jù)預(yù)處理， 去除停用詞， 輸入文本， 通過Jieba分詞和Word2vec預(yù)訓(xùn)練詞向量轉(zhuǎn)化為數(shù)字矩陣形式， 再連接具有可訓(xùn)練參數(shù)的神經(jīng)網(wǎng)絡(luò)層、全連接層和SoftMax層， 最終輸出文本所屬各個標(biāo)簽的概率。其中， 在神經(jīng)網(wǎng)絡(luò)層應(yīng)用了多種深度學(xué)習(xí)方法， 包括卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN） （Kim， 2014）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN） （Zhao et al.， 2019）、循環(huán)神經(jīng)網(wǎng)絡(luò)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Recurrent Convolution Neural Network， R-CNN） （Lai et al.， 2015）和循環(huán)神經(jīng)網(wǎng)絡(luò)串聯(lián)注意力網(wǎng)絡(luò)（RNN + Attention） （Pang et al.， 2021）。其中， CNN主要通過卷積核參數(shù)來捕捉各類標(biāo)簽的文本局部深度特征; RNN通過循環(huán)單元結(jié)構(gòu)來捕捉各類標(biāo)簽的文本全局深度特征; R-CNN同時發(fā)揮兩者的優(yōu)勢將RNN和CNN進(jìn)行串聯(lián)使用; Attention則通過神經(jīng)網(wǎng)絡(luò)計算文本中每個詞的權(quán)重來優(yōu)化文本深度表征， 通常與RNN進(jìn)行串聯(lián)使用。

2.5.3 "句子層面文本多分類

多標(biāo)簽分類任務(wù)是在文檔層面對整段作答文本直接輸出多個標(biāo)簽， 如果將文檔拆分， 可以在句子層面輸出每句話單獨的標(biāo)簽。在人工編碼環(huán)節(jié)， 已得到逐句編碼的標(biāo)注集。

隨機選取4道題目， 首先進(jìn)行數(shù)據(jù)預(yù)處理， 通過“。.?。? ;”等標(biāo)點符號和“一（一）1（1）①”等序號來分割句子， 去除停用詞， 通過Jieba分詞和Word2vec預(yù)訓(xùn)練詞向量將文本轉(zhuǎn)化為數(shù)字矩陣， 使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory Neural Network， LSTM）、卷積神經(jīng)網(wǎng)絡(luò)串聯(lián)長短時記憶網(wǎng)絡(luò)（C-LSTM）、長短時記憶網(wǎng)絡(luò)串聯(lián)注意力網(wǎng)絡(luò)（LSTM+attention）四種深度學(xué)習(xí)模型進(jìn)行訓(xùn)練， 分別做分?jǐn)?shù)預(yù)測和行為反應(yīng)項預(yù)測。其中LSTM能夠有效應(yīng)對梯度消失、梯度爆炸問題， 它是RNN的結(jié)構(gòu)變種; C-LSTM是CNN與LSTM的結(jié)合，既能獲得句子的局部特征， 也可以獲取全文中的時態(tài)句子語義。模型通過學(xué)習(xí)標(biāo)注集中每種反應(yīng)項或分?jǐn)?shù)對應(yīng)的句子集合， 找到文本之間的深層語義關(guān)系， 以此完成模型訓(xùn)練。每個句子皆輸出兩種預(yù)測結(jié)果， 一是分?jǐn)?shù)預(yù)測， 即輸出句子的分值（0～3分）， 二是標(biāo)簽預(yù)測（行為反應(yīng)項）， 可以幫助更細(xì)致地評估作答者的思想和能力。

3 "結(jié)果

3.1 "評分規(guī)則

原始作答數(shù)據(jù)集中， 每道題作答文本100～300字， 20道題共1353365字。取前300份進(jìn)行編碼， 已編碼647322字， 單題標(biāo)注724～1453句， 總計標(biāo)注19368個句子。選取第一道題做編碼一致性檢驗， 兩個評分者的人工編碼一致性r = 0.84， 二次加權(quán)Kappa系數(shù)為0.78。每道題的評分規(guī)則在人工編碼后產(chǎn)生， 主要包含兩大部分——此情境下的典型行為反應(yīng)項以及分值， 每個反應(yīng)項有唯一的編號， 共形成20個評分規(guī)則。

3.2 "測驗質(zhì)量分析

以多種信度指標(biāo)來考察多維測驗信度（顧紅磊， 溫忠麟， 2017）。經(jīng)計算， 在雙因子結(jié)構(gòu)下， 即把勝任力作為全局因子， 4個維度作為4個局部因子， 同質(zhì)性系數(shù)（Homogeneity Coefficient， HC）和總合成信度分別為0.88和0.96。測驗整體的Cronbach’s α系數(shù)為0.91， 各維度的α系數(shù)為：學(xué)生導(dǎo)向0.79， 問題解決0.76， 情緒智力0.66， 成就動機0.60。

為檢驗測驗的結(jié)構(gòu)效度， 設(shè)定并比較了4種驗證性因子分析模型：M1為單因子模型， 即所有題目負(fù)載于一個因子; M2為四因子模型; M3為雙因子模型（Bi-factor Model， BFM）， 即在M2基礎(chǔ)上， 所有題目還負(fù)載于一個全局因子， 全局因子與局部因子互不相關(guān); M4為雙因子模型， 全局因子與局部因子不相關(guān)， 局部因子兩兩相關(guān)。結(jié)果見表2， M4明顯優(yōu)于其他模型， 因此選定M4為最佳模型， 測驗具有較清晰的雙因子結(jié)構(gòu)， 具有1個勝任力全局因子和4個維度。

采用工作滿意度、教學(xué)理念、教學(xué)能力作為效標(biāo)來檢驗效標(biāo)關(guān)聯(lián)效度， 結(jié)果見表3， 勝任力總分與工作滿意度（r1 = 0.20， p = 0.001）、公用教學(xué)理念（r2 = 0.21， p lt; 0.001）、學(xué)科教學(xué)理念（r3 = 0.22， p lt; 0.001）、教學(xué)能力中的教學(xué)設(shè)計（r4 = 0.26， p lt; 0.001）、課堂評價（r5 = 0.20， p = 0.007）、學(xué)生作業(yè)（r6 = 0.22， p = 0.003）皆呈顯著相關(guān)。

3.3 "自動化評分模型性能

3.3.1 "文檔層面文本多分類

使用多標(biāo)簽標(biāo)記方法， 將整段回答輸出多標(biāo)簽結(jié)果。實驗結(jié)果如表4所示， 各模型在測試集上的表現(xiàn)皆不夠理想， 準(zhǔn)確率為46%～55%。研究者推測， 一方面是受限于樣本數(shù)量， 另一方面， 是由于分類類別過多， 題目類別平均包含20類左右， 且大多數(shù)標(biāo)簽是僅有少數(shù)標(biāo)注數(shù)量的尾標(biāo)簽。

3.3.2 "句子層面文本多分類

將作答文本拆分為句子單元， 在隨機選取的4道題目上進(jìn)行模型訓(xùn)練。實驗結(jié)果表明：（1）對于分?jǐn)?shù)預(yù)測任務(wù)， 在題20上， 4種算法的準(zhǔn)確率、F1值差距較小， CNN的精確率最高， C-LSTM的召回率最高; 在題6和題7上， 4種算法的4個指標(biāo)差異較小， 題6中C-LSTM略好， 題7中LSTM略好; 在題3上， CNN明顯優(yōu)于其他模型。（2）對于反應(yīng)項預(yù)測任務(wù)， 在題20上， 4種算法的準(zhǔn)確率、F1值差距較小， CNN的精確率較高， LSTM的召回率較高; 在題6上， 4種算法的F1值、召回率差距較小， CNN和LSTM的準(zhǔn)確率較高， CNN的精確率最高; 在題7、題3上， CNN的4項指標(biāo)皆最佳。綜合來看， CNN表現(xiàn)最好， 4道題目的預(yù)測分?jǐn)?shù)準(zhǔn)確率為79%～92%， 預(yù)測反應(yīng)項準(zhǔn)確率為75%～80%。具體如圖3所示。

3.3.3 "整體性能

句子層面的準(zhǔn)確率高于文檔層面， 因此采用句子層面文本多分類的方法， 選定綜合表現(xiàn)最佳的CNN模型對所有題目進(jìn)行自動評分。結(jié)果如圖4

所示， 計算機在20道題上預(yù)測分?jǐn)?shù)的準(zhǔn)確率為70%～88%， 結(jié)果較好; 預(yù)測行為反應(yīng)項的準(zhǔn)確率為58%～81%， 考慮到數(shù)據(jù)集訓(xùn)練語料量較少而語義又具有豐富性的特點， 以及分類類別較多， 為十幾至二十幾類， 故此準(zhǔn)確率仍屬較不錯的結(jié)果。

3.4 "自動化評分的效度驗證

將標(biāo)注集前200人的數(shù)據(jù)作為訓(xùn)練集， 后100人的數(shù)據(jù)作為測試集。100人的機器評分結(jié)果中， 刪去數(shù)據(jù)不完整及作答時間過短的6人， 對94人的1880道作答的人機評分結(jié)果進(jìn)行對比分析， 檢驗機器評分的信效度。

3.4.1 "人機評分一致性

人機評分的數(shù)據(jù)分布。人工評分與機器評分的總體數(shù)據(jù)分布形態(tài)接近， 人工評分總分（36.36 ± 7.99）的峰度為?0.592， 偏度為0.175， 機器評分總分（37.23 ±7.83）的峰度為?0.345， 偏度為0.151， 如圖5所示。

相關(guān)性。采用相關(guān)系數(shù)作為評價標(biāo)準(zhǔn)， 有研究者指出機器評分與人工評分的相關(guān)系數(shù)至少達(dá)到0.7才可用于大規(guī)模、高權(quán)重考試（Ramineni et al.， 2012）。經(jīng)計算， 人工評分總分（36.36 ± 7.99）與機器評分總分（37.23 ± 7.83）呈高度正相關(guān)（r = 0.95， p lt; 0.001）， 且在學(xué)生導(dǎo)向、問題解決、情緒智力、成就動機這4個維度人評（1.81 ± 0.45、1.82 ± 0.49、1.87 ± 0.49、1.78 ± 0.54）與機評（1.89 ± 0.44、1.84 ± 0.47、1.87 ± 0.47、1.82 ± 0.53）皆為高度正相關(guān) " "（r學(xué)生導(dǎo)向 = 0.91， r問題解決 = 0.90， r情緒智力 = 0.81， r成就動機 = 0.89， p lt; 0.001）， 達(dá)到大規(guī)?？荚嚨氖褂靡蟆Ｔ?0道題目上， 人機評分的相關(guān)系數(shù)r依次為0.88、0.64、0.80、0.71、0.78、0.60、0.88、0.63、0.48、0.82、0.84、0.54、0.84、0.81、0.85、0.74、0.68、0.75、0.65、0.90， p lt; 0.001。

一致率系數(shù)（Kappa）。采用二次加權(quán)Kappa系數(shù)（QWK）作為評價標(biāo)準(zhǔn)， Williamson等（2012）認(rèn)為自動評分的QWK應(yīng)至少為0.7才能用于高風(fēng)險測試情況。本研究中人工評分與機器評分的QWK——總分（0.82）和各維度（學(xué)生導(dǎo)向0.89、問題解決0.90、情緒智力0.81、成就動機0.89）皆已達(dá)到用于高風(fēng)險測驗的標(biāo)準(zhǔn)。

3.4.2 "機器評分的信度與效度

采用Cronbach’s α系數(shù)來衡量測驗內(nèi)部一致性信度， 使用機評結(jié)果計算得出， 測驗整體α系數(shù)為0.87， 各維度為：學(xué)生導(dǎo)向0.66， 問題解決0.73， 情緒智力0.55， 成就動機0.55。驗證性因子分析（n = 94）結(jié)果顯示， χ2 = 210.896， df = 164， χ2 /df = 3.75， RMSEA = 0.055， CFI = 0.884， TLI = 0.866， SRMR = 0.029， 各項目在各因子上的因子載荷在0.412～ 0.659之間， 結(jié)構(gòu)效度不如人工評分。機器評分的總分與各維度的相關(guān)系數(shù)如表5所示， 各維度與總分存在較高相關(guān)， 各維度間存在中等水平相關(guān)。效標(biāo)關(guān)聯(lián)效度如表5所示， 勝任力總分與公用教學(xué)理念呈顯著相關(guān)（r = 0.22， p = 0.036）。

4 "討論

本研究試圖探索一種以心理測量學(xué)理論為基礎(chǔ)的開放式情境判斷測驗自動化評分范式， 為了驗證自動評分的有效性， 聚焦具體的研究問題——教師勝任力測評， 開發(fā)了開放式SJT， 設(shè)置細(xì)粒度的評分規(guī)則， 使用NLP技術(shù)進(jìn)行文本特征識別和分類， 分別在文檔和句子層面使用CNN、RNN、R-CNN、RNN+Attention、LSTM、C-LSTM、LSTM +Attention等多種深度學(xué)習(xí)模型對開放式SJT的自動化評分方法進(jìn)行了探索。結(jié)果顯示， 句子層面的分類效果優(yōu)于文檔層面， 其中， CNN表現(xiàn)較好， 模型預(yù)測分?jǐn)?shù)的準(zhǔn)確率達(dá)到了70%～88%， 預(yù)測反應(yīng)項的準(zhǔn)確率為58%～81%， 模型性能較好， 能夠?qū)ξ谋具M(jìn)行較準(zhǔn)確的自動評分， 下面進(jìn)行具體討論。

4.1 "評分標(biāo)準(zhǔn)的設(shè)計

確立評分標(biāo)準(zhǔn)前需進(jìn)行問題界定， 根據(jù)測驗的內(nèi)容和類型、作答文本的特點來確定評分策略。比如有無標(biāo)準(zhǔn)答案決定著評分邏輯和算法設(shè)計， 作答文本的長度與語義豐富度決定著是否需要人工編碼的參與， 也決定著計分策略。評分規(guī)則應(yīng)盡可能體現(xiàn)作答者個人特質(zhì)層面的信息， 重點考慮兩個問題：（1）合理分類。行為反應(yīng)項全面、具體、有代表性， 盡可能涵蓋所有類型。類別既需充分體現(xiàn)差異， 又要避免分類過細(xì)帶來的隨機性。反應(yīng)項若細(xì)致具體， 則更能體現(xiàn)差異和區(qū)分性， 但由于類別過多， 評分的準(zhǔn)確率會降低; 若行為反應(yīng)項少， 則有利于提高預(yù)測準(zhǔn)確率， 但會導(dǎo)致區(qū)分度降低。（2）合理賦分。通過分?jǐn)?shù)高低體現(xiàn)作答者水平高低， 各行為反應(yīng)項的賦分是較困難的過程， 需反復(fù)斟酌對比， 綜合考量。

另一方面， 測驗質(zhì)量對評分效果有著直接的影響。測驗開發(fā)與自動評分這兩個環(huán)節(jié)并不是獨立的， 本文探索的自動評分方法， 關(guān)鍵不在于分類模型的復(fù)雜或先進(jìn)， 并不著重于追求更完美的模型， 而在于設(shè)計一套可行的開放式SJT自動評分方法， 設(shè)定合理的評分規(guī)則、選取合適的評分模型， 在此基礎(chǔ)上逐步提高模型評分的準(zhǔn)確率。開放作答并不意味著測驗開發(fā)過程的隨意和自由， 不可隨意設(shè)置題目， 而是應(yīng)該依據(jù)規(guī)范的測驗開發(fā)標(biāo)準(zhǔn)， 在一套合格的、信效度較好的測驗基礎(chǔ)上實現(xiàn)評分自動化。測驗開發(fā)者需對測評維度有深刻理解， 在大量的調(diào)研、訪談中把握所測特質(zhì)的內(nèi)涵和行為表現(xiàn)， 在此基礎(chǔ)上才能設(shè)計良好的評分規(guī)則。此外， 題目需注意用詞， 避免出現(xiàn)歧義、過多的額外或干擾信息， 影響測驗質(zhì)量。

4.2 "自動化評分過程

研究中使用了多種方法、選用多種模型進(jìn)行實驗對比， 以選擇最優(yōu)模型。根據(jù)具體任務(wù)的輸入輸出形式， 自動化評分有多種建模思路， 在實踐中一般需進(jìn)行多種嘗試并選取更簡單有效的建模方法。本研究中， 輸入為被試的作答文本， 輸出為該文本涉及的多個反應(yīng)項或多級評分， 這種輸入輸出形式可以直接對應(yīng)機器學(xué)習(xí)領(lǐng)域的多標(biāo)簽分類任務(wù)， 因此首先嘗試了文檔層面的多標(biāo)簽文本分類， 這種建模方法沒有引入句子級別的標(biāo)注信息， 如果能夠達(dá)到可用的性能可優(yōu)先使用。然而， 在實踐中， 多標(biāo)簽分類結(jié)果欠佳， 文章僅以第一題為例說明了這個過程， 而句子層面的自動化評分能夠取得更有效的結(jié)果， 因而采用了這種思路。

不同類型的深度學(xué)習(xí)模型在處理文本分類任務(wù)時， 具有獨特的優(yōu)勢和限制， 這些特點會在自動化評分性能方面產(chǎn)生不同的影響。例如， 卷積神經(jīng)網(wǎng)絡(luò)（CNN）在文本中主要捕獲局部特征， 如詞組、短語等， 對于需要考慮長程依賴關(guān)系的任務(wù)， CNN可能表現(xiàn)較差， 因為它無法有效地處理長文本序列中的全局信息; 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其變體， 如長短時記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU）， 在處理序列數(shù)據(jù)時能夠捕捉上下文信息， 適用于對文本中長期依賴關(guān)系較強的任務(wù)。然而， 傳統(tǒng)的RNN難以處理長序列， 雖然LSTM和GRU在一定程度上緩解了這些問題， 但仍受到文本長度的限制而在一些文本分析任務(wù)上表現(xiàn)較差; 注意力機制（Attention）使模型能夠在處理文本時聚焦于關(guān)鍵部分， 有助于更好地捕捉重要信息， 但早期的注意力機制通常與RNN綁定使用， 容易受到RNN模型的限制。本研究中， 由于句子層面的反應(yīng)項分類任務(wù)通常與特定的詞組、短語等相關(guān)聯(lián)， 因此CNN在本研究上的性能最優(yōu)是可以理解的。在廣泛的研究任務(wù)中， 不同類型的深度學(xué)習(xí)模型在自動化評分中具有各自的特點， 模型的選擇將對評分性能產(chǎn)生顯著影響。根據(jù)任務(wù)的特殊要求， 結(jié)合模型的優(yōu)勢和限制， 選擇合適的模型有助于提高自動化評分的準(zhǔn)確性。此外， 在預(yù)訓(xùn)練語言模型（Pre-trained Language Model）、大語言模型（如ChatGPT）等被提出后， 自動化評分模型也有了更豐富的選擇， 但考慮到場景的特異性， 仍然需要經(jīng)過嚴(yán)謹(jǐn)?shù)男阅茉u估、信效度檢驗才能確定評分模型的可用性。

自動評分的效果亦受多種人工因素影響。在評分前需做好數(shù)據(jù)預(yù)處理， 注意分句方式。句子的分割效果直接影響著分?jǐn)?shù)， 對于機器來說， 區(qū)分一段文本中的不同語義單元較為困難， 數(shù)據(jù)集中標(biāo)點符號使用不規(guī)范的現(xiàn)象越多， 分句質(zhì)量越差。因此， 在機器分句之后增加一個對分割數(shù)據(jù)集的校驗工作， 會有助于后續(xù)獲得更好的評分效果。在更廣泛的測驗類型中， 應(yīng)根據(jù)文本長短、語義復(fù)雜度， 選用合適的分句標(biāo)志或符號。此外， 也應(yīng)采用多種方式保障人工編碼的質(zhì)量， 優(yōu)化評分規(guī)則的設(shè)置。

4.3 "自動化評分的效度和可解釋性

人工評分和機器評分在心理測驗的使用中表現(xiàn)出了不同的特點。王妍和彭恒利（2019）對比了人機評分的特點， 在辨別考生作答偏題、背誦模板、對考生的作答進(jìn)行語意判斷、識別作答語序和邏輯順序這幾個方面人類表現(xiàn)得較好， 而機器評分具有更少的評分趨中現(xiàn)象， 對考生作答的整體把握能力和識別異型卷的能力都更強。機器評分的結(jié)果能否輔助甚至代替人工， 除了關(guān)注預(yù)測準(zhǔn)確率等一系列模型評價指標(biāo)， 也需關(guān)注評分信效度， 尤其要做評分的效度驗證。本研究中， 在測驗總分和4個維度分上， 人機評分的r和QWK皆大于0.8， 在部分題目上機器評分比人工評分具有更強的穩(wěn)定性， 如第一題人機評分一致性高于兩個評分員之間的一致性（r人-機 = 0.88， r人-人 = 0.78）。因此， 自動化評分系統(tǒng)是有效的， 在閱卷過程中可以至少替代一位評分員進(jìn)行評分， 實現(xiàn)人機結(jié)合評分或自動化評分。

效度研究被視為一種對測驗分?jǐn)?shù)作出可接受的（Plausible）解釋的過程（謝小慶， 2013）， 自動化評分的可解釋性問題更是研究的難點。機器學(xué)習(xí)的過程通常建立一個可解釋性不強的黑盒模型， 難以滿足一個心理測驗對測評要素的描述需求， 僅從數(shù)據(jù)本身、文本表征的距離遠(yuǎn)近來實現(xiàn)機器評分是不夠的。本研究中， 構(gòu)建評分模型時引入了專家知識， 這也是將機評過程轉(zhuǎn)換成“白盒”模型的關(guān)鍵， 將不可見的評分過程， 轉(zhuǎn)化為先將文本分類到評分規(guī)則里對應(yīng)的行為反應(yīng)項上， 不僅能得到分?jǐn)?shù)， 也能得到作答者的行為反應(yīng)項， 基于這些行為項， 還可對作答者的行為模式、思維方式、人格特點等作進(jìn)一步挖掘。這種關(guān)注到具體行為的評分能夠更細(xì)致地刻畫被試的行為差異， 是更細(xì)粒度的評分模型， 也更具有可解釋性。

4.4 "實踐啟示

研究具有廣闊的應(yīng)用前景和實際意義， 主要體現(xiàn)在以下幾個方面：第一， 對SJT的開放式作答形式進(jìn)行探索， 減少選擇題形式SJT的被試猜測和作假行為， 實現(xiàn)對個體更個性化的評估。第二， 是對中文無標(biāo)準(zhǔn)答案主觀題自動化評分技術(shù)的探索， 搭建了開放式測驗開發(fā)——分類歸集——標(biāo)定編碼——專家賦分——自動評分——效果驗證這樣一個完整的范式。不再局限于簡單語義計算和相似度計算， 而更注重文本與所測心理特質(zhì)的對應(yīng)關(guān)系， 通過人工編碼和細(xì)粒度的評分規(guī)則， 增強了自動化評分過程的可解釋性。第三， 自動化評分模型的準(zhǔn)確率高、效果較好， 在實踐中， 評分更高效、節(jié)省人力和時間， 是準(zhǔn)確、可靠的評估工具。第四， 拓展開放式SJT的應(yīng)用， 也為其他類型開放式題目的自動化評分提供參考和指導(dǎo)， 有助于將開放式題型應(yīng)用在更廣泛的測驗場景中。

4.5 "研究局限和展望

研究也存在著一些局限。具體表現(xiàn)在：第一， 樣本代表性， 被試選取的是深圳市中小學(xué)各科教師， 屬于教育資源優(yōu)質(zhì)地區(qū)的青年教師， 同質(zhì)性較強， 不能代表更一般化的教師群體。第二， 標(biāo)注數(shù)量有限， 對于機器評分來說， 評分精度受限于標(biāo)注樣本數(shù)量， 由于時間及人力等限制條件， 每題的句子標(biāo)注數(shù)量在1000句左右， 且有標(biāo)簽不均勻的情況， 影響機器學(xué)習(xí)的效果。第三， 評分規(guī)則中的行為反應(yīng)項還可以嘗試進(jìn)一步的分類概括和調(diào)整。第四， 效標(biāo)選取， 應(yīng)選取更貼合的效標(biāo)， 多方面、多證據(jù)驗證評分效度。

未來研究中， 將考慮繼續(xù)擴充題目庫， 不斷更新時代背景下教學(xué)中出現(xiàn)的新問題情境， 同時增強題目的針對性。同時， 使用AI自動編碼的方式來輔助歸類反應(yīng)項， 提高效率。在評分算法上嘗試更多小樣本學(xué)習(xí)的方法， 進(jìn)一步提高機評準(zhǔn)確率。此外， 對于更豐富的開放式構(gòu)答形式如語音、肢體動作等， 可參考AI面試系統(tǒng)（Lee amp; Kim， 2021）的技術(shù)思路， 探索開放式SJT更廣闊的應(yīng)用空間。

5 "結(jié)論

在本研究條件下， 主要得出如下結(jié)論：（1）開放式情境判斷測驗可從關(guān)鍵行為反應(yīng)項上設(shè)定評分規(guī)則， 自動化評分的步驟包括：行為反應(yīng)項分類歸集——標(biāo)定編碼——專家賦分——自動評分——效果驗證; （2）評分算法可從文檔層面和句子層面分別設(shè)計， 本研究中句子層面的文本分類效果優(yōu)于文檔層面， 其中卷積神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率較高， 能對關(guān)鍵行為反應(yīng)項的字詞特征進(jìn)行更好的捕捉; （3）所開發(fā)的評分模型具有穩(wěn)定的效果， 機器評分與人工評分一致性高， 具有較好的信效度， 在實踐中可部分代替人工完成評分任務(wù)。

參 "考 "文 "獻(xiàn)

Arthur， W.， Edwards， B. D.， amp; Barrett， G. V. （2002）. Multiple- choice and constructed response tests of ability： Race-based subgroup performance differences on alternative paper- and-pencil test formats. Personnel Psychology， 55（4）， 985?1008.

Bacon， D. R. （2003）. Assessing learning outcomes： A comparison of multiple-choice and short-answer questions in a marketing context. Jounal of Marketing Education， 25（1）， 31?36.

Basu， T.， amp; Murthy， C. A. （2013， December）. Effective text classification by a supervised feature selection approach. IEEE 12th International Conference on Data Mining Workshops （ICDM） （pp. 918?925）. Brussels， Belgium.

Burrows， S.， Gurevych， I.， amp; Stein， B. （2015）. The eras and trends of automatic short answer grading. International Journal of Artificial Intelligence in Education， 25（1）， 60?117.

Burrus， J.， Betancourt， A.， Holtzman， S.， Minsky， J.， MacCann， C.， amp; Roberts， R. D. （2012）. Emotional intelligence relates to well-being： Evidence from the situational judgment test of emotional management. Applied Psychology： Health and Well-Being， 4（2）， 151?166.

Cucina， J. M.， Su， C.， Busciglio， H. H.， Thomas， P. H.， amp; Peyton， S. T. （2015）. Video-based testing： A high-fidelity job simulation that demonstrates reliability， validity， and utility. International Journal of Selection and Assessment， 23（3）， 197?209.

Downer， K.， Wells， C.， amp; Crichton， C. （2019）. All work and no play： A text analysis. International Journal of Market Research， 61（3）， 236?251.

Edwards， B. D.， amp; Arthur， W.， Jr. （2007）. An examination of factors contributing to a reduction in subgroup differences on a constructed-response paper-and-pencil test of scholastic achievement. Journal of Applied Psychology， 92（3）， 794?801.

Finch， W. H.， Finch， M. E. H.， Mcintosh， C. E.， amp; Braun， C. （2018）. The use of topic modeling with latent dirichlet analysis with open-ended survey items. Translational Issues in Psychological Science， 4（4）， 403?424.

Funke， U.， amp; Schuler， H. （1998）. Validity of stimulus and response components in a video test of social competence. International Journal of Selection and Assessment， 6（2）， 115?123.

Gu， H. L.， amp; Wen， Z. L. （2017）. Reporting and interpreting multidimensional test scores： A bi-factor perspective. Psychological Development and Education， 33（4）， 504?512.

[顧紅磊， 溫忠麟. （2017）. 多維測驗分?jǐn)?shù)的報告與解釋： 基于雙因子模型的視角. 心理發(fā)展與教育， 33（4）， 504?512.]

Guo， F.， Gallagher， C. M.， Sun， T.， Tavoosi， S.， amp; Min， H. （2021）. Smarter people analytics with organizational text data： Demonstrations using classic and advanced NLP models. Human Resource Management Journal. https：//doi.org/10.1111/1748-8583.12426

Iliev， R.， Dehghani， M.， amp; Sagi， E. （2015）. Automated text analysis in psychology： Methods， applications， and future developments. Language and Cognition， 7（2）， 265?290.

Kastner， M.， amp; Stangla， B. （2011）. Multiple choice and constructed response tests： Do test format and scoring matter？ Procedia-Social and Behavioral Sciences. 12， 263?273.

Kim， Y. （2014）. Convolutional neural networks for sentence classification. Proceedings of the 19th Conference on Empirical Methods in Natural Language Processing， 1746?1751.

Kjell， O. E.， Kjell， K.， Garcia， D.， amp; Sikstrom， S. （2019）. Semantic measures： Using natural language processing to measure， differentiate， and describe psychological constructs. Psychological Methods， 24（1）， 92?115.

Lai， S.， Xu， L.， Liu， K.， amp; Zhao， J. （2015）. Recurrent convolutional neural networks for text classification. Proceedings of the 29th AAAI Conference on Artificial Intelligence， 2267?2273.

Lee， B. C.， amp; Kim， B. Y. （2021）. Development of an AI-based interview system for remote hiring. International Journal of Advanced Research in Engineering and Technology， 12（3）， 654?663.

Lievens， F.， de Corte， W.， amp; Westerveld， L. （2015）. Understanding the building blocks of selection procedures： Effects of response fidelity on performance and validity. Journal of Management， 41（6）， 1604?1627.

Lievens， F.， Sackett， P. R.， Dahlke， J. A.， Oostrom， J. K.， amp; de Soete， B. （2019）. Constructed response formats and their effects on minority-majority differences and validity. Journal of Applied Psychology， 104（5）， 715?726.

Ling， C. （2020）. Development of Classroom Observation Scale to Promote the Professional Development of New Teachers （Unpublished master's thesis）. Beijing Normal University.

[凌晨. （2020）. 課堂觀察量表的開發(fā)——促進(jìn)初任教師專業(yè)發(fā)展 （碩士學(xué)位論文）. 北京師范大學(xué).]

Lubis， F. F.， Mutaqin， Putri， A.， Waskita， D.， Sulistyaningtyas， T.， Arman， A. A.， amp; Rosmansyah， Y. （2021）. Automated short-answer grading using semantic similarity based on word embedding. International Journal of Technology. 12（3）， 571?581.

Marentette， B. J.， Meyers， L. S.， Hurtz， G. M.， amp; Kuang， D. C. （2012）. Order effects on situational judgment test items： A case of construct-irrelevant difficulty. International Journal of Selection and Assessment， 20（3）， 319?332.

McDaniel， M. A.， Hartman， N. S.， Whetzel， D. L.， amp; Grubb， W. L. （2007）. Situational judgment tests， response instructions， and validity： A meta‐analysis. Personnel Psychology， 60（1）， 63?91.

McDaniel， M. A.， Morgeson， F. P.， Finnegan， E. B.， Campion， M. A.， amp; Braverman， E. P. （2001）. Use of situational judgment tests to predict job performance： A clarification of the literature. Journal of Applied Psychology， 86（4）， 730?740.

McDaniel， M. A.， Psotka， J.， Legree， P. J.， Yost， A. P.， amp; Weekley， J. A. （2011）. Toward an understanding of situational judgment item validity and group differences. Journal of Applied Psychology， 96（2）， 327?336.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2010）. Webcam testing： Validation of an innovative open-ended multimedia test. European Journal of Work and Organizational Psychology， 19（5）， 532?550.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2011）. A multimedia situational test with a constructed-response format： Its relationship with personality， cognitive ability， job experience， and academic performance. Journal of Personnel Psychology， 10（2）， 78?88.

Oostrom， J. K.， Born， M. P.， Serlie， A. W.， amp; van der Molen， H. T. （2012）. Implicit trait policies in multimedia situational judgment tests for leadership skills： Can they predict leadership behavior？ Human Performance， 25（4）， 335?353.

Pang， N.， Zhao， X.， Wang， W.， Xiao， W.， amp; Guo， D. （2021）. Few-shot text classification by leveraging bi-directional attention and cross-class knowledge. Science China Information Sciences. 64（3）， 130103.

Qi， S. Q.， amp; Dai， H. Q. （2003）. The property， function and the development of situational judgment tests. Psychological Exploration， 23（4）， 42?46.

[漆書青， 戴海琦. （2003）. 情景判斷測驗的性質(zhì)、功能與開發(fā)編制. 心理學(xué)探新， 23（4）， 42?46.]

Ramesh， D.， amp; Sanampudi， S. K. （2022）. An automated essay scoring systems： A systematic literature review. Artificial Intelligence Review， 55（3）， 2495?2527.

Ramineni， C.， Trapani， C. S.， Williamson， D. M.， David， T.， amp; Bridgeman， B. （2012）. Evaluation of the e-rater? scoring engine for the GRE? Issue and Argument Prompts. ETS Research Report Series， （1）， i?106.

Robson， S. M.， Jones， A.， amp; Abraham， J. （2007）. Personality， faking， and convergent validity： A warning concerning warning statements. Human Performance， 21（1）， 89?106.

Rogers， W. T.， amp; Harley， D. （1999）. An empirical comparison of three-and four-choice items and tests： Susceptibility to testwiseness and internal consistency reliability. Educational and Psychological Measurement， 59（2）， 234?247.

Rudner， L. M.， amp; Liang， T. （2002）. Automated essay scoring using Bayes’ theorem. The Journal of Technology， Learning and Assessment， 1（2）， 1?22.

Slaughter， J. E.， Christian， M. S.， Podsakoff， N. P.， Sinar， E. F.， amp; Lievens， F. （2014）. On the limitations of using situational judgment tests to measure interpersonal skills： The moderating influence of employee anger. Personnel Psychology， 67（4）， 847?885.

Süzen， N.， Gorban， A. N.， Levesley， J.， amp; Mirkes， E. M. （2020）. Automatic short answer grading and feed-back using text mining methods. Procedia Computer Science， 169， 726?743.

Tavoosi， S. （2022）. Development and validation of a counterproductive work behavior situational judgment test with an open-ended response format： A computerized scoring approach （Unpublished master’s thesis）. University of Central Florida.

Wang， Y.， amp; Peng， H. L. （2019）. Validation on automatic scoring for open-ended questions in Chinese oral tests. China Examinations， 9， 63?71.

[王妍， 彭恒利. （2019）. 漢語口語開放性試題計算機自動評分的效度驗證. 中國考試， 9， 63?71.]

Weekley， J. A.， amp; Ployhart， R. E. （2005）. Situational judgment： Antecedents and relationships with performance. Human Performance， 18（1）， 81?104.

Whetzel， D. L.， amp; McDaniel， M. A. （2009）. Situational judgment tests： An overview of current research. Human Resource Management Review， 19（3）， 188?202.

Williamson， D. M.， Xi， X.， amp; Breyer， F. J. （2012）. A framework for evaluation and use of automated scoring. Educational Measurement： Issues and Practice， 31（1）， 2?13.

Xie， X. Q. （2013）. Validation： From reasonable to plausible interpretation of test score. China Examinations， 7， 3?8.

[謝小慶. （2013）. 效度： 從分?jǐn)?shù)的合理解釋到可接受解釋. 中國考試， 7， 3?8.]

Xu， J. P. （2004）. Research on teacher competency model and evaluation （Unpublished doctorial dissertation）. Beijing Normal University.

[徐建平. （2004）. 教師勝任力模型與測評研究 （博士學(xué)位論文）. 北京師范大學(xué).]

Yang， L.， Xin， T.， Luo， F.， Zhang， S.， amp; Tian， X. （2022）. Automated evaluation of the quality of ideas in compositions based on concept maps. Natural Language Engineering， 28（4）， 449?486.

Zhang， Y.， Lin， C.， amp; Chi， M. （2020）. Going deeper： Automatic short-answer grading by combining student and question models. User Modeling and User-Adapted Interaction， 30（1）， 51?80.

Zhao， Y.， Shen， Y.， amp; Yao， J. （2019， August）. Recurrent neural network for text classification with hierarchical multiscale dense connections. Proceedings of the 28th International Joint Conference on Artificial Intelligence， 5450?5456.

Automated scoring of open-ended situational judgment tests

XU Jing1， LUO Fang1， MA Yanzhen2， HU Luming3， TIAN Xuetao1

（1 School of Psychology， Beijing Normal University， Beijing 100875， China）

（2 Collaborative Innovation Center of Assessment toward Basic Education Quality， Beijing Normal University， Beijing 100875， China）

（3 Department of Psychology， School of Arts and Sciences， Beijing Normal University at Zhuhai， Zhuhai 519085， China）

Abstract

Situational Judgment Tests （SJTs） have gained popularity for their unique testing content and high face validity. However， traditional SJT formats， particularly those employing multiple-choice （MC） options， have encountered scrutiny due to their susceptibility to test-taking strategies. In contrast， open-ended and constructed response （CR） formats present a propitious means to address this issue. Nevertheless， their extensive adoption encounters hurdles primarily stemming from the financial implications associated with manual scoring. In response to this challenge， we propose an open-ended SJT employing a written-constructed response format for the assessment of teacher competency. This study established a scoring framework leveraging natural language processing （NLP） technology to automate the assessment of response texts， subsequently subjecting the system's validity to rigorous evaluation. The study constructed a comprehensive teacher competency model encompassing four distinct dimensions： student-oriented， problem-solving， emotional intelligence， and achievement motivation. Additionally， an open-ended situational judgment test was developed to gauge teachers' aptitude in addressing typical teaching dilemmas. A dataset comprising responses from 627 primary and secondary school teachers was collected， with manual scoring based on predefined criteria applied to 6， 000 response texts from 300 participants. To expedite the scoring process， supervised learning strategies were employed， facilitating the categorization of responses at both the document and sentence levels. Various deep learning models， including the convolutional neural network （CNN）， recurrent neural network （RNN）， long short-term memory （LSTM）， C-LSTM， RNN+attention， and LSTM+attention， were implemented and subsequently compared， thereby assessing the concordance between human and machine scoring. The validity of automatic scoring was also verified.

This study reveals that the open-ended situational judgment test exhibited an impressive Cronbach's alpha coefficient of 0.91 and demonstrated a good fit in the validation factor analysis through the use of Mplus. Criterion-related validity was assessed， revealing significant correlations between test results and various educational facets， including instructional design， classroom evaluation， homework design， job satisfaction， and teaching philosophy. Among the diverse machine scoring models evaluated， CNNs have emerged as the top-performing model， boasting a scoring accuracy ranging from 70% to 88%， coupled with a remarkable degree of consistency with expert scores （r = 0.95， QWK = 0.82）. The correlation coefficients between human and computer ratings for the four dimensions—student-oriented， problem-solving， emotional intelligence， and achievement motivation—approximated 0.9. Furthermore， the model showcased an elevated level of predictive accuracy when applied to new text datasets， serving as compelling evidence of its robust generalization capabilities.

This study ventured into the realm of automated scoring for open-ended situational judgment tests， employing rigorous psychometric methodologies. To affirm its validity， the study concentrated on a specific facet： the evaluation of teacher competency traits. Fine-grained scoring guidelines were formulated， and state-of-the-art NLP techniques were used for text feature recognition and classification. The primary findings of this investigation can be summarized as follows： （1） Open-ended SJTs can establish precise scoring criteria grounded in crucial behavioral response elements; （2） Sentence-level text classification outperforms document- level classification， with CNNs exhibiting remarkable accuracy in response categorization; and （3） The scoring model consistently delivers robust performance and demonstrates a remarkable degree of alignment with human scoring， thereby hinting at its potential to partially supplant manual scoring procedures.

Keywords "situational judgment tests， automated scoring， teacher competency， open-ended tests， machine learning