面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型構(gòu)建及應(yīng)用

葉海智　楊柳　黃宏濤　梅鈺皎

[摘? ?要]認(rèn)知診斷與教育的深度融合能夠促進(jìn)個(gè)性化學(xué)習(xí)的發(fā)展。認(rèn)知診斷測(cè)試中，學(xué)習(xí)者能力與測(cè)試題難度的匹配程度直接影響診斷結(jié)果的精確性。然而，目前認(rèn)知診斷選題策略尚無(wú)法精確標(biāo)定學(xué)習(xí)者能力及測(cè)試題目難度，導(dǎo)致教師不能準(zhǔn)確掌握學(xué)生的學(xué)習(xí)狀態(tài)。為解決該問(wèn)題，構(gòu)建了面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型，首先運(yùn)用Rasch模型對(duì)題庫(kù)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換，在同一等距量尺中標(biāo)定出測(cè)試題目的難度等級(jí)和學(xué)習(xí)者的初始能力等級(jí)，在診斷測(cè)試過(guò)程中為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題目，然后在每次測(cè)試結(jié)束后更新學(xué)習(xí)者能力等級(jí)。實(shí)踐結(jié)果表明：面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型能夠使得測(cè)試題目難度與學(xué)習(xí)者能力精確匹配，進(jìn)一步提高了認(rèn)知診斷的精確性，提高了學(xué)生的學(xué)習(xí)效率，促進(jìn)了教育向個(gè)性化方向的發(fā)展。

[關(guān)鍵詞] 認(rèn)知診斷; Rasch模型; 能力等級(jí)自適應(yīng); 試題推送模型; 個(gè)性化學(xué)習(xí)

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 葉海智（1963—），男，河南欒川人。教授，博士，主要從事教育信息化方面的研究。E-mail：yhz87@163.com。

一、引? ?言

《教育信息化十年發(fā)展規(guī)劃（2011—2020年）》提出，“要為所有學(xué)生提供個(gè)性化學(xué)習(xí)的信息化環(huán)境和服務(wù)”[1]。利用信息技術(shù)促進(jìn)教育的個(gè)性化發(fā)展是當(dāng)前我國(guó)教育信息化發(fā)展的主要目標(biāo)之一[2]。個(gè)性化學(xué)習(xí)尊重學(xué)生個(gè)體差異，促進(jìn)學(xué)生個(gè)性發(fā)展，是未來(lái)教育發(fā)展的方向[3]。

認(rèn)知診斷是實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的前提和基礎(chǔ)，進(jìn)行診斷測(cè)試時(shí)可以通過(guò)學(xué)習(xí)者在測(cè)試題目上的反應(yīng)模式推知其不可觀察的知識(shí)狀態(tài)，及時(shí)發(fā)現(xiàn)學(xué)習(xí)者自身存在的認(rèn)知缺陷，從而有針對(duì)性地開(kāi)展補(bǔ)救學(xué)習(xí)。測(cè)試題目是開(kāi)展認(rèn)知診斷測(cè)驗(yàn)的必要條件，也是影響診斷結(jié)果精確性的關(guān)鍵因素。而在實(shí)際教學(xué)過(guò)程中，目前的認(rèn)知診斷測(cè)試題目通常是依據(jù)特定知識(shí)點(diǎn)生成的固定題目或者通過(guò)題庫(kù)隨機(jī)抽取，這些推送試題的方法都無(wú)法使測(cè)試題目的難度精確匹配學(xué)習(xí)者的能力水平。為所有學(xué)習(xí)者推送相同且大量的測(cè)試題，不僅加重了學(xué)習(xí)者的負(fù)擔(dān)，而且容易降低診斷結(jié)果的精確性。認(rèn)知診斷計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)（Computerized Adaptive Test for Cognitive Diagnosis，CD-CAT）可以在測(cè)試中依據(jù)學(xué)習(xí)者的答題情況自動(dòng)為其選擇最適合的試題，對(duì)學(xué)習(xí)者能力作出恰當(dāng)?shù)墓烙?jì)，但CD-CAT需要大量的試題，才能保證對(duì)被試能力估計(jì)的精確性。

為了在小規(guī)模的認(rèn)知診斷測(cè)試過(guò)程中使測(cè)試題目的難度與學(xué)習(xí)者的能力水平更為契合，實(shí)現(xiàn)依據(jù)學(xué)習(xí)者能力的自適應(yīng)試題推送，本文利用Rasch模型對(duì)認(rèn)知診斷試題推送過(guò)程進(jìn)行調(diào)整與優(yōu)化，該模型可以通過(guò)對(duì)題庫(kù)原始數(shù)據(jù)進(jìn)行分析，標(biāo)定出測(cè)試題目難度等級(jí)及學(xué)習(xí)者初始能力等級(jí)，并通過(guò)被試的答題情況在同一等距量尺中不斷更新學(xué)習(xí)者的能力水平，在最短時(shí)間內(nèi)為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題，實(shí)現(xiàn)小規(guī)模的能力等級(jí)自適應(yīng)試題推送，從而使得認(rèn)知診斷的測(cè)試過(guò)程更具針對(duì)性、診斷結(jié)果更為精確。因此，利用Rasch模型對(duì)認(rèn)知診斷測(cè)試的試題推送過(guò)程進(jìn)行優(yōu)化是提高診斷精確性的一個(gè)方向。

二、相關(guān)研究

近年來(lái)，認(rèn)知診斷在實(shí)際教學(xué)中的應(yīng)用越來(lái)越廣泛，促進(jìn)了傳統(tǒng)教學(xué)向個(gè)性化方向的發(fā)展。實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的基礎(chǔ)是精準(zhǔn)診斷學(xué)習(xí)者的相關(guān)特征屬性，以此為依據(jù)提供適應(yīng)性的支持反饋[4]。在認(rèn)知診斷過(guò)程中，精確診斷出學(xué)習(xí)者的能力水平并推送符合其能力水平的測(cè)試題目是提高診斷精確性的關(guān)鍵環(huán)節(jié)。單瑞婷等結(jié)合DINA診斷模型與協(xié)同過(guò)濾算法，通過(guò)對(duì)學(xué)習(xí)者的知識(shí)點(diǎn)掌握情況及群體相似度進(jìn)行分析，同時(shí)考慮了個(gè)體的學(xué)習(xí)狀態(tài)和群體的共性特征，實(shí)現(xiàn)了個(gè)性化的試題推薦[5]。Henson等運(yùn)用認(rèn)知診斷模型診斷出學(xué)習(xí)者的知識(shí)狀態(tài)，并基于概率分析以Kullback-Leibler信息量的大小為依據(jù)，從題庫(kù)中為學(xué)習(xí)者選擇下一道要作答的測(cè)試題目[6]。該方法能夠使推送的試題更符合學(xué)習(xí)者的當(dāng)前學(xué)習(xí)狀態(tài)，提高了學(xué)生的學(xué)習(xí)效率。一些學(xué)者在此基礎(chǔ)上進(jìn)一步引入了自適應(yīng)思想，提出基于認(rèn)知診斷的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)，CD-CAT可以根據(jù)被試的反應(yīng)特征調(diào)整測(cè)試題目的范圍，為其推送相適應(yīng)的測(cè)試題目，做到“因人施測(cè)”。羅照盛等提出了基于屬性掌握概率的PPWKL和PHKL選題策略，通過(guò)被試對(duì)每個(gè)屬性的掌握概率來(lái)估計(jì)學(xué)習(xí)者的當(dāng)前能力值，根據(jù)PWKL信息量為學(xué)習(xí)者推送相應(yīng)的試題，提高了題庫(kù)的利用率[7]。然而，這些方法只能從題庫(kù)中選擇難度與學(xué)習(xí)者能力水平大體相近的測(cè)試題目，無(wú)法確保試題難度和學(xué)習(xí)者能力水平之間匹配程度的精確性。因此，本文引入Rasch模型來(lái)對(duì)兩者進(jìn)行精準(zhǔn)標(biāo)定與比較。

Rasch模型是丹麥數(shù)學(xué)家喬治·拉希（Georg Rasch）提出的一種基于概率的潛在特質(zhì)模型，該模型可以實(shí)現(xiàn)測(cè)試題目難度與學(xué)習(xí)者能力水平的同時(shí)等距標(biāo)定。Bin Abd Razak N等運(yùn)用Rasch模型對(duì)題庫(kù)原始數(shù)據(jù)進(jìn)行分析，通過(guò)直觀比較測(cè)試題目與學(xué)習(xí)者能力之間的關(guān)系，對(duì)測(cè)試題目進(jìn)行了更準(zhǔn)確的質(zhì)量分析[8]。該方法可以根據(jù)數(shù)據(jù)分析結(jié)果篩選出符合學(xué)習(xí)者能力水平的測(cè)試題目，為高質(zhì)量題庫(kù)的開(kāi)發(fā)提供了依據(jù)。王麗萍等通過(guò)Rasch模型對(duì)學(xué)生能力水平和主題難度初始值進(jìn)行個(gè)性化設(shè)置，并依據(jù)學(xué)生對(duì)主題中所有參數(shù)化測(cè)試題的反應(yīng)，實(shí)現(xiàn)對(duì)主題難度的定量估計(jì)[9]。該方法能夠準(zhǔn)確估計(jì)出測(cè)試題的難度，為教師在確定主題難度時(shí)提供依據(jù)。袁潔將Rasch模型作為檢驗(yàn)和改進(jìn)分級(jí)考試的有效工具，通過(guò)對(duì)試題難度分布與學(xué)習(xí)者整體水平分布的比較，對(duì)大學(xué)英語(yǔ)考試質(zhì)量進(jìn)行量化分析[10]。該方法對(duì)學(xué)績(jī)測(cè)驗(yàn)作出了準(zhǔn)確的評(píng)價(jià)，使得分級(jí)標(biāo)準(zhǔn)更加準(zhǔn)確。上述方法表明，Rasch模型可以將學(xué)習(xí)者能力水平和測(cè)試題目的難度等級(jí)放在同一量尺中進(jìn)行標(biāo)定，直接比較兩者之間的關(guān)系。所以，本研究在認(rèn)知診斷基礎(chǔ)上引入Rasch模型，精準(zhǔn)標(biāo)定測(cè)試題目難度及學(xué)習(xí)者初始能力等級(jí)，并在每次診斷測(cè)試后更新學(xué)習(xí)者的能力等級(jí)，使系統(tǒng)推送的試題難度更符合學(xué)習(xí)者的能力水平，從而有效地提高診斷結(jié)果的精確性。

三、面向認(rèn)知診斷的能力等級(jí)自適應(yīng)

試題推送模型構(gòu)建

（一）相關(guān)概念

1. 認(rèn)知診斷

認(rèn)知診斷通過(guò)學(xué)習(xí)者可觀察的答題情況推測(cè)出不可觀察的知識(shí)結(jié)構(gòu)[11]，及時(shí)反映學(xué)生的知識(shí)狀態(tài)，從而為開(kāi)展個(gè)性化補(bǔ)救學(xué)習(xí)提供依據(jù)。學(xué)習(xí)者完成測(cè)試是認(rèn)知診斷的前提，測(cè)試題目的難度能否精準(zhǔn)匹配學(xué)習(xí)者的能力直接影響診斷結(jié)果的精確性。

2. Rasch模型

Rasch模型是一種描述考生能力水平與題目參數(shù)之間關(guān)系的測(cè)量學(xué)模型[12]。該模型可以在客觀等距量尺中同時(shí)估計(jì)項(xiàng)目難度和學(xué)習(xí)者的能力，直觀比較學(xué)習(xí)者之間、測(cè)試題目之間以及學(xué)習(xí)者與測(cè)試題目之間的關(guān)系。Rasch模型通過(guò)項(xiàng)目特征曲線（Item Characteristic Curve，ICC）反映測(cè)試者在測(cè)驗(yàn)項(xiàng)目上的反應(yīng)行為與測(cè)試者潛在特性之間的關(guān)系[13]，預(yù)測(cè)學(xué)習(xí)者在未作答題目上的答對(duì)概率。

（二）Rasch模型特征

1. 直觀等距

Rasch模型通過(guò)對(duì)數(shù)轉(zhuǎn)換將學(xué)習(xí)者數(shù)據(jù)轉(zhuǎn)化為等距的Logit值，可以將測(cè)試題目難度和學(xué)習(xí)者能力標(biāo)定在同一等距量尺之上，用特定的Logit值表示兩者的等級(jí)，從而實(shí)現(xiàn)測(cè)試題目難度和學(xué)習(xí)者能力的直觀標(biāo)定與比較，便于系統(tǒng)為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題目，實(shí)現(xiàn)兩者的精準(zhǔn)匹配。

2. 樣本獨(dú)立

題目難度的標(biāo)定獨(dú)立于考生樣本。題目的參數(shù)估計(jì)只取決于考生總體，經(jīng)過(guò)等值處理后的題目參數(shù)不會(huì)因?yàn)榭忌鷺颖镜牟煌l(fā)生變化[14]。Rasch模型的這一特征為題庫(kù)測(cè)試題目難度標(biāo)定和測(cè)試等值提供了理論依據(jù)。

（三）Rasch模型工作原理

Rasch模型用函數(shù)表示學(xué)習(xí)者能力及測(cè)試題目難度之間的關(guān)系，如公式（1）所示，其中θ表示學(xué)習(xí)者的能力參數(shù)，b表示試題的難度參數(shù)，P表示能力為θ的學(xué)習(xí)者對(duì)難度為b的題目的概率。Rasch模型客觀性以一組假定為前提：a.每位學(xué)生有其特定的能力值;b.每道測(cè)試題有特定的難度值;c.人的能力值和試題的難度值，以數(shù)值的形式呈現(xiàn)在同一個(gè)尺度上;d.通過(guò)人在試題上的得分值，可以推算出某個(gè)人在某個(gè)試題上的正確反應(yīng)概率[15]。該模型的核心算法是對(duì)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換，通過(guò)迭代，不斷對(duì)試題難度和學(xué)習(xí)者能力等級(jí)進(jìn)行調(diào)整，直至得到穩(wěn)定的值，并同時(shí)在同一等距客觀的量尺中標(biāo)定出兩者的等級(jí)，從而為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度的試題提供依據(jù)。

P =1/（1+e^（θ-b））? ? ? ? ? ? ? ? ? ? ? 公式（1）

（四）面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型

本文通過(guò)引入Rasch模型應(yīng)用于認(rèn)知診斷系統(tǒng)，形成面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型，通過(guò)為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題目，提高診斷結(jié)果的精確性，為開(kāi)展個(gè)性化學(xué)習(xí)奠定基礎(chǔ)。該模型的原理如圖1所示。

1. Rasch模型標(biāo)定測(cè)試題目難度

運(yùn)用Ministep軟件將題庫(kù)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換，并在同一等距量尺中對(duì)學(xué)習(xí)者能力及測(cè)試題目難度進(jìn)行比較，用相同的區(qū)間來(lái)表示能力及難度的量級(jí)。能力及難度的標(biāo)定結(jié)果是范圍為[-2，2]～[-5，5]的區(qū)間，區(qū)間范圍根據(jù)樣本數(shù)據(jù)大小有一定的變化。為便于標(biāo)定學(xué)習(xí)者能力及測(cè)試題目難度的等級(jí)，將區(qū)間由低到高劃分為不同的等級(jí)，如Ministep軟件得出結(jié)果范圍為[-2，2]的區(qū)間，則標(biāo)定[-2，-1]區(qū)間內(nèi)的測(cè)試題等級(jí)為1，[-1，0]區(qū)間內(nèi)的測(cè)試題等級(jí)為2，[1，2]區(qū)間內(nèi)的測(cè)試題等級(jí)為4，以此類推標(biāo)定出每道測(cè)試題的難度等級(jí)。

2. 學(xué)習(xí)者能力等級(jí)初始化

每位學(xué)習(xí)者都有其特定的初始能力，開(kāi)展正式測(cè)試時(shí)，學(xué)習(xí)者如進(jìn)行過(guò)Rasch模型測(cè)試，則直接為其推送題庫(kù)中相應(yīng)難度等級(jí)的測(cè)試題目，如果沒(méi)有則首先通過(guò)認(rèn)知診斷系統(tǒng)從題庫(kù)中隨機(jī)為其推送測(cè)試題，運(yùn)用Rasch模型對(duì)測(cè)試結(jié)果進(jìn)行分析，在等距量尺中標(biāo)定出學(xué)習(xí)者的初始能力等級(jí)。

3. 學(xué)習(xí)者能力等級(jí)自適應(yīng)試題推送

為了實(shí)現(xiàn)個(gè)性化的學(xué)習(xí)者能力等級(jí)自適應(yīng)試題推送過(guò)程，將上述兩者的等級(jí)標(biāo)定結(jié)果集成于認(rèn)知診斷測(cè)試系統(tǒng)，系統(tǒng)依據(jù)能力等級(jí)為學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題目，完成認(rèn)知診斷測(cè)試后，得到學(xué)習(xí)者認(rèn)知診斷報(bào)告，學(xué)生可及時(shí)得知自身存在的認(rèn)知缺陷，教師可依據(jù)診斷報(bào)告為其推送個(gè)性化補(bǔ)救資源。

4. Rasch模型更新學(xué)習(xí)者能力等級(jí)

每次測(cè)試結(jié)束教師得到學(xué)習(xí)者的成績(jī)及診斷報(bào)告后，經(jīng)由Rasch模型對(duì)學(xué)生測(cè)試成績(jī)進(jìn)行分析與轉(zhuǎn)換，得到學(xué)習(xí)者新的能力等級(jí)，并在認(rèn)知診斷系統(tǒng)中實(shí)時(shí)更新，進(jìn)而在下一次測(cè)試時(shí)，系統(tǒng)依據(jù)學(xué)習(xí)者新的能力等級(jí)為其推送與之能力相匹配的測(cè)試題，形成面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型。

四、應(yīng)用方案

為驗(yàn)證面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型在教學(xué)實(shí)踐中能否為不同能力等級(jí)的學(xué)習(xí)者推送更為匹配的測(cè)試題目，開(kāi)展測(cè)試題目難度及學(xué)習(xí)者初始能力等級(jí)標(biāo)定、面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送、補(bǔ)救教學(xué)三個(gè)階段的教學(xué)實(shí)踐，涉及以下方面：

（一）應(yīng)用對(duì)象及內(nèi)容

本研究以河南師范大學(xué)2017級(jí)100名本科生作為研究對(duì)象，開(kāi)展為期8周的教學(xué)應(yīng)用活動(dòng)。其中教育技術(shù)學(xué)專業(yè)50人為實(shí)驗(yàn)組，數(shù)字媒體技術(shù)專業(yè)50人為對(duì)照組，平均年齡18歲，男女比例約為1：5，兩組成員在構(gòu)成上大致相同。選取《Java語(yǔ)言程序設(shè)計(jì)》教材第三章“標(biāo)識(shí)符和基本數(shù)據(jù)類型”相關(guān)知識(shí)點(diǎn)作為教學(xué)內(nèi)容，并由此開(kāi)展教學(xué)實(shí)踐活動(dòng)。

（二）應(yīng)用環(huán)境

本次認(rèn)知診斷教學(xué)活動(dòng)在機(jī)房進(jìn)行，運(yùn)用Ministep軟件對(duì)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換，標(biāo)定測(cè)試題目的難度等級(jí)及初始能力等級(jí)，并在實(shí)踐活動(dòng)中不斷更新學(xué)習(xí)者的能力等級(jí)，通過(guò)基于認(rèn)知診斷的可編程教學(xué)輔助系統(tǒng)（Cognigive Diagnosis based Programmable Teaching Support System，DPTSS）實(shí)現(xiàn)對(duì)實(shí)驗(yàn)組學(xué)習(xí)者的測(cè)試和診斷，同時(shí)，由CDPTSS負(fù)責(zé)收集學(xué)習(xí)者完成診斷測(cè)試后的數(shù)據(jù)，并由SPSS22.0對(duì)數(shù)據(jù)進(jìn)行分析。

（三）應(yīng)用過(guò)程

本次教學(xué)實(shí)踐活動(dòng)持續(xù)8周，第一周對(duì)兩組學(xué)生進(jìn)行前測(cè)，測(cè)試學(xué)生的初始能力水平。同時(shí)，運(yùn)用Ministep軟件對(duì)上屆學(xué)生及題庫(kù)測(cè)試題數(shù)據(jù)進(jìn)行分析，將測(cè)試題目難度及學(xué)習(xí)者能力水平標(biāo)定在同一區(qū)間內(nèi)進(jìn)行比較，剔除異常試題，并標(biāo)定出每道測(cè)試題目的難度等級(jí)。由題庫(kù)隨機(jī)為實(shí)驗(yàn)組學(xué)生推送測(cè)試題，由Ministep軟件得到實(shí)驗(yàn)組學(xué)生的初始能力等級(jí)。第2～7周分別對(duì)兩組學(xué)生開(kāi)展教學(xué)活動(dòng)，對(duì)照組采用傳統(tǒng)課堂教學(xué)模式，實(shí)驗(yàn)組教學(xué)實(shí)踐安排如下：開(kāi)展6次認(rèn)知診斷測(cè)試，由CDPTSS為不同能力等級(jí)的學(xué)生推送相應(yīng)難度等級(jí)的測(cè)試題目，每次測(cè)試結(jié)束后得到學(xué)習(xí)者診斷報(bào)告并由Rasch模型更新學(xué)習(xí)者的能力等級(jí)，統(tǒng)計(jì)學(xué)生存在的認(rèn)知缺陷，并在課后依據(jù)診斷報(bào)告及學(xué)習(xí)者能力等級(jí)進(jìn)行補(bǔ)救教學(xué)。每次測(cè)試都依據(jù)最新能力等級(jí)標(biāo)定結(jié)果為學(xué)習(xí)者推送測(cè)試題目。第8周發(fā)放與回收調(diào)查問(wèn)卷，調(diào)查實(shí)驗(yàn)組對(duì)面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型應(yīng)用的滿意度，最后，整理分析相關(guān)數(shù)據(jù)和調(diào)查問(wèn)卷結(jié)果。實(shí)驗(yàn)組與對(duì)照組除診斷測(cè)試及補(bǔ)救教學(xué)方式不同外，其他無(wú)關(guān)變量均保持一致。實(shí)驗(yàn)組8周實(shí)踐教學(xué)活動(dòng)過(guò)程及時(shí)間安排如圖2所示。

下面以第三次教學(xué)活動(dòng)為例，介紹實(shí)驗(yàn)組應(yīng)用面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型的教學(xué)案例。本小節(jié)教學(xué)內(nèi)容包含兩個(gè)學(xué)時(shí)，共90分鐘，課前由教師確定內(nèi)容，并將相關(guān)學(xué)習(xí)資料上傳到CDPTSS中，由課前準(zhǔn)備工作得到的數(shù)據(jù)可知，題庫(kù)中與本節(jié)課內(nèi)容相關(guān)的測(cè)試題難度等級(jí)標(biāo)定結(jié)果如圖3所示：本次教學(xué)活動(dòng)包含10道測(cè)試題，第六題最簡(jiǎn)單，難度等級(jí)為2，第五題最難，難度等級(jí)為8，難度分布均勻。在第二次測(cè)試時(shí)得到學(xué)習(xí)者的能力等級(jí)如圖4所示：為方便數(shù)據(jù)的呈現(xiàn)，隨機(jī)抽取15名學(xué)生的數(shù)據(jù)進(jìn)行分析，剔除全部答對(duì)和全部答錯(cuò)的數(shù)據(jù)，在測(cè)試中得到14位學(xué)習(xí)者的能力水平，學(xué)號(hào)為14的學(xué)生能力最低，等級(jí)標(biāo)定為1，學(xué)號(hào)為13的學(xué)生能力最高，等級(jí)標(biāo)定為8，將等級(jí)標(biāo)定結(jié)果集成到CDPTSS中。之后30分鐘由教師講授本章節(jié)知識(shí)點(diǎn)，學(xué)生學(xué)習(xí)相關(guān)知識(shí)，30分鐘進(jìn)行隨堂測(cè)試，由CDPTSS依據(jù)學(xué)習(xí)者能力等級(jí)為實(shí)驗(yàn)組推送相應(yīng)難度等級(jí)的測(cè)試題目，如圖3、圖4可知13號(hào)學(xué)生能力和第五題難度在同一區(qū)間，等級(jí)都為8，則系統(tǒng)為13號(hào)學(xué)生推送第五題。學(xué)習(xí)者完成測(cè)試后，一分鐘內(nèi)由CDPTSS得到認(rèn)知診斷報(bào)告，5分鐘內(nèi)由Rasch模型的Ministep軟件得到新的學(xué)習(xí)者能力等級(jí)，并將其集成到診斷系統(tǒng)中，為下次測(cè)試題的推送提供依據(jù)，之后25分鐘小組交流、討論，解決個(gè)性問(wèn)題，教師依據(jù)認(rèn)知診斷報(bào)告進(jìn)行集中講解，解決學(xué)生共性問(wèn)題。課后，系統(tǒng)依據(jù)診斷報(bào)告及學(xué)習(xí)者能力等級(jí)為其推送相應(yīng)的補(bǔ)救學(xué)習(xí)資源，并收集、分析數(shù)據(jù)，統(tǒng)計(jì)分析使用SPSS22.0。

（四）應(yīng)用結(jié)果及分析

在8周教學(xué)實(shí)踐結(jié)束后，對(duì)系統(tǒng)收集的數(shù)據(jù)及問(wèn)卷調(diào)查數(shù)據(jù)進(jìn)行分析，評(píng)價(jià)面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型的應(yīng)用效果，分析主要涉及試題難度與學(xué)習(xí)者能力匹配度、學(xué)習(xí)成績(jī)及學(xué)生滿意度三個(gè)方面。

1. 試題難度與學(xué)習(xí)者能力匹配度分析

為驗(yàn)證該模型推送的測(cè)試題目是否更匹配學(xué)習(xí)者的能力，對(duì)兩組學(xué)生的6次后測(cè)成績(jī)進(jìn)行正態(tài)分布檢驗(yàn)，檢驗(yàn)結(jié)果表明實(shí)驗(yàn)組前兩次測(cè)試正態(tài)分布不明顯，后4次測(cè)試數(shù)據(jù)結(jié)果都符合正態(tài)分布。原因是學(xué)習(xí)者剛開(kāi)始使用CDPTSS進(jìn)行答題，操作不熟練，且前兩次測(cè)試由Rasch模型得到的學(xué)習(xí)者能力等級(jí)尚不穩(wěn)定。以實(shí)驗(yàn)組第3次后測(cè)成績(jī)?yōu)槔?，由SPSS22.0對(duì)測(cè)試結(jié)果進(jìn)行常態(tài)檢驗(yàn)分析，由于本次實(shí)際教學(xué)活動(dòng)包含樣本量較少，因此，以K-S結(jié)果為準(zhǔn)，sig.=0.200>0.05，表明實(shí)驗(yàn)組成績(jī)符合正態(tài)分布，具體數(shù)據(jù)見(jiàn)表1。

另由SPSS22.0得到實(shí)驗(yàn)組正態(tài)分布直方圖，如圖5所示，實(shí)驗(yàn)組第三次測(cè)試數(shù)據(jù)直方圖也呈正態(tài)分布。以上分析表明，面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型推送的測(cè)試題目難度符合學(xué)習(xí)者的能力水平。

2. 學(xué)習(xí)成績(jī)

為保證對(duì)兩組學(xué)習(xí)者學(xué)習(xí)成績(jī)?cè)u(píng)價(jià)的有效性，對(duì)兩組學(xué)生的前測(cè)成績(jī)進(jìn)行t檢驗(yàn)，比較實(shí)驗(yàn)組與對(duì)照組在開(kāi)展本次教學(xué)應(yīng)用前的初始知識(shí)水平。前測(cè)檢驗(yàn)結(jié)果中T的Sig值為0.65，遠(yuǎn)大于0.05，表明兩組學(xué)生的前測(cè)初始能力差異不大。說(shuō)明在開(kāi)展本次教學(xué)應(yīng)用前，兩組學(xué)生的初始知識(shí)水平相當(dāng)，可以避免由于學(xué)生初始知識(shí)水平不同而造成的診斷結(jié)果誤差。

對(duì)兩組學(xué)習(xí)者6次后測(cè)成績(jī)進(jìn)行配對(duì)樣本t檢驗(yàn)，比較兩者每次測(cè)試的得分差異，具體結(jié)果見(jiàn)表2。在后測(cè)成績(jī)1和2中，兩組學(xué)生的成績(jī)差異不顯著。原因是前兩次教學(xué)活動(dòng)需要通過(guò)測(cè)試由Rasch模型得到學(xué)習(xí)者穩(wěn)定的能力值，進(jìn)而為不同能力等級(jí)的學(xué)習(xí)者推送相應(yīng)難度等級(jí)的測(cè)試題目。后測(cè)3～6中，實(shí)驗(yàn)組與對(duì)照組后測(cè)成績(jī)存在顯著差異，且實(shí)驗(yàn)組相對(duì)于對(duì)照組成績(jī)明顯提高，其原因在于，診斷系統(tǒng)為實(shí)驗(yàn)組推送的測(cè)試題目難度與其能力等級(jí)精確匹配，且課后針對(duì)性的補(bǔ)救學(xué)習(xí)也能夠及時(shí)解決學(xué)習(xí)中存在的問(wèn)題，因此，學(xué)習(xí)者學(xué)習(xí)效率顯著提高。而對(duì)照組僅由題庫(kù)隨機(jī)推送試題，且缺乏后續(xù)針對(duì)性的補(bǔ)救資源推送，所以成績(jī)提升不明顯。由以上分析可知：面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型在實(shí)際教學(xué)中的應(yīng)用使得診斷系統(tǒng)推送的測(cè)試題目難度與學(xué)習(xí)者能力水平精準(zhǔn)匹配，提高了實(shí)驗(yàn)組的學(xué)習(xí)成績(jī)。

3. 調(diào)查問(wèn)卷

本研究調(diào)查了實(shí)驗(yàn)組對(duì)面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型教學(xué)應(yīng)用的滿意度，共發(fā)放60份問(wèn)卷，回收有價(jià)值的問(wèn)卷58份，有效率為96.67%。問(wèn)卷采用李克特五級(jí)量表（從1分“強(qiáng)烈不同意”到5分“強(qiáng)烈同意”），針對(duì)“等級(jí)標(biāo)定精準(zhǔn)度”“試題難度滿意度”“試題推送模型實(shí)用性”“教學(xué)效果滿意度”四個(gè)維度設(shè)計(jì)了20個(gè)項(xiàng)目，對(duì)實(shí)驗(yàn)組學(xué)生態(tài)度進(jìn)行問(wèn)卷調(diào)查，具體分析結(jié)果見(jiàn)表3。由表3的Cronbachs α信度系數(shù)可知，“等級(jí)標(biāo)定精準(zhǔn)度”的均值接近量表的最高等級(jí)即非常滿意[16]，說(shuō)明學(xué)生對(duì)Rasch模型的等級(jí)標(biāo)定結(jié)果非常滿意，“試題難度滿意度”“試題推送模型實(shí)用性”“教學(xué)效果滿意度”的項(xiàng)目均值都大于4，表明學(xué)生對(duì)試題推送模型及整個(gè)教學(xué)應(yīng)用過(guò)程持較高的滿意度。

五、總結(jié)與展望

為了優(yōu)化認(rèn)知診斷測(cè)試的試題推送過(guò)程，提高認(rèn)知診斷測(cè)試結(jié)果的精確性，文章提出面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型，并由此開(kāi)展認(rèn)知診斷教學(xué)活動(dòng)。由教學(xué)實(shí)踐得到的數(shù)據(jù)分析結(jié)果可知，面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型通過(guò)對(duì)數(shù)轉(zhuǎn)換，對(duì)題庫(kù)測(cè)試題難度等級(jí)及學(xué)習(xí)者初始能力等級(jí)進(jìn)行標(biāo)定，并在每次診斷測(cè)試結(jié)束后更新學(xué)習(xí)者的能力等級(jí)，從而使診斷系統(tǒng)推送與學(xué)習(xí)者能力等級(jí)精確匹配的測(cè)試題目，有效地提高了診斷的精確性及學(xué)生的學(xué)習(xí)效率，大部分學(xué)生對(duì)系統(tǒng)依據(jù)其能力推送的測(cè)試題目難度及整個(gè)教學(xué)應(yīng)用過(guò)程表現(xiàn)出較高的滿意度。

面向認(rèn)知診斷的能力等級(jí)自適應(yīng)試題推送模型能夠直觀標(biāo)定與比較學(xué)習(xí)者能力之間、測(cè)試題目之間及學(xué)習(xí)者能力和測(cè)試題目之間的關(guān)系，有效提高診斷結(jié)果的精確性，促進(jìn)教學(xué)向個(gè)性化方向的發(fā)展。后續(xù)研究將重點(diǎn)集中在深度分析不同能力等級(jí)學(xué)生在答題過(guò)程中的差異、診斷測(cè)試題庫(kù)建設(shè)及利用Rasch模型為學(xué)習(xí)者制定更為精準(zhǔn)的個(gè)性化補(bǔ)救方案上。

[參考文獻(xiàn)]

[1] 中華人民共和國(guó)教育部. 教育信息化十年發(fā)展規(guī)劃[EB/OL].[2015-06-26]. http：//moe.gov.cn/public files/busi Ness/htmlfiles/moe/s3342/201203/xxgk_133322.html.

[2] 馬玉慧，王珠珠，王碩爍，郭炯. 面向智慧教育的學(xué)習(xí)分析與智能導(dǎo)學(xué)研究——基于RSM的個(gè)性化學(xué)習(xí)資源推送方法[J]. 電化教育研究，2018，39（10）：47-52，82.

[3] 黃宏濤，李世珍，李世玉，宋婷鴿，蘇明驁. 基于BP神經(jīng)網(wǎng)絡(luò)的認(rèn)知診斷方法在個(gè)性化教學(xué)中的應(yīng)用[J]. 中國(guó)遠(yuǎn)程教育，2019（1）：86-91.

[4] 王玨，解月光. 基于前概念體系的學(xué)習(xí)者認(rèn)知診斷方法研究——以初中物理“力與運(yùn)動(dòng)”主題為例[J]. 電化教育研究，2017，38（9）：122-128.

[5] 單瑞婷，羅益承，孫翼. 基于認(rèn)知診斷的協(xié)同過(guò)濾試題推薦[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（3）：136-142.

[6] HENSON R， DOUGLAS J. Test construction for cognitive diagnosis[J]. Applied psychological measurement，2005（4）：262-277.

[7] 羅照盛，喻曉鋒，高椿雷，李喻駿，彭亞風(fēng)，王睿，王鈺彤. 基于屬性掌握概率的認(rèn)知診斷計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)選題策略[J]. 心理學(xué)報(bào)，2015，47（5）：679-688.

[8] BIN ABD RAZAK N，BIN KHAIRANI A Z，THIEN L M. Examining quality of mathemtics test items using rasch model： preminarily analysis [J]. Procedia-social and behavioral sciences，2012（69）：2205-2214.

[9] 王麗萍，趙蔚，魏久鴻. 自適應(yīng)學(xué)習(xí)系統(tǒng)中基于Rasch的主題難度估計(jì)[J]. 現(xiàn)代教育技術(shù)，2017，27（6）：115-121.

[10] 袁潔. 基于Rasch模型的大學(xué)英語(yǔ)分級(jí)考試質(zhì)量分析[J]. 東南大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2016，18（S1）：142-145.

[11] 辛濤，樂(lè)美玲，郭艷芳，等. 學(xué)業(yè)質(zhì)量標(biāo)準(zhǔn)的建立途徑：基于認(rèn)知診斷的學(xué)習(xí)進(jìn)階方法[J].教育學(xué)報(bào)，2015（5）：72-79.

[12] WRIGHT D B， STONE H. Best test design：rasch measurement[M]. Chicago，IL：MESA Press，1979.

[13] RONALD K H， HARIHARAN S. Item response theory： principles and applications[M]. Boston/Dordrecht/Lancaster： Springer Science & Business Media f， Kluwer Nijhoff，1985：39-48.

[14] 楊志明. 打通題庫(kù)建設(shè)瓶頸的關(guān)鍵手段——基于Rasch模型的題目參數(shù)等值技術(shù)[J]. 教育測(cè)量與評(píng)價(jià)，2017（1）：5-11.

[15] BOND T G， FOX C M. Applying the rasch model：fundamental measurement in the human sciences[M]. Mahwah，NJ：Lawrence Erlbaum Associates，2007.

[16]卜彩麗，張文蘭，張寶輝，等. 面向教師培訓(xùn)的翻轉(zhuǎn)課堂探究——以“PPT課件制作”課程為例[J]. 現(xiàn)代教育技術(shù)，2017，27（1）：81-87.

Construction and Application of An Adaptive Test Push Model for Cognitive Diagnosis

YE Haizhi，? YANG Liu，? HUANG Hongtao，? MEI Yujiao

（Institute of Education， Henan Normal University， Xinxiang Henan 453007）

[Abstract] The deep integration of cognitive diagnosis and education can promote the development of personalized learning. In the cognitive diagnostic test， the matching degree between the learner's ability and test difficulty directly affects the accuracy of diagnostic results. However， at present， the cognitive diagnosis cannot accurately calibrate the learner's ability and test difficulty， which leads to teachers' inability to accurately judge students' learning status. In order to solve that problem， a text push model adapted by the student's ability level for cognitive diagnosis is constructed. First， the Rasch model is used to perform logarithmic transformation on the raw data of the item bank， then the difficulty level of the test item and the learner's initial ability level are calibrated in the same isometric ruler. Learners with different ability levels are provided with corresponding test questions in the test， and the learner's ability level will be updated after each test. The result indicates that the text push model adapted by the student's ability level for cognitive diagnosis can make the difficulty of test items exactly match the learner's ability， further improve the accuracy of cognitive diagnosis， improves the learning efficiency of students and promotes the development of personalized education.

[Keywords] Cognitive Diagnosis; Rasch Model; Adaptive Ability Level; Test Push Model; Personalized Learning