基于教育測評數(shù)據(jù)的個性化認知診斷研究

劉霞林，陳莉君，舒新峰，梁 琛

（西安郵電大學 計算機學院，陜西 西安 710121）

0 引言

教學過程中需要分階段診斷學生學習中存在的問題和不足。傳統(tǒng)的學業(yè)診斷方法多采用分數(shù)診斷法，即通過考試或測驗考察所學內(nèi)容的掌握程度，然后對個體數(shù)據(jù)如分數(shù)、排名和整體數(shù)據(jù)如班級平均分、標準差等進行計算及分析。這種方法側(cè)重學生考題得分，忽略了試題題型、難度、內(nèi)容以及評分標準的差異，只能提供單一籠統(tǒng)的診斷信息用于診斷評估［1］，難以深入挖掘測評數(shù)據(jù)，獲取代表學生認知水平和知識掌握程度的足夠信息。當考試人數(shù)、題目數(shù)量、題型數(shù)量較多時，計算的工作量增長很大，難以保證所有數(shù)據(jù)百分之百可靠，從而影響診斷準確性和時效性［2］。個性化學習應該針對學生的個性特點和發(fā)展?jié)撃埽寣W生獲得自由的學習空間，達到知識和認知能力的協(xié)調(diào)發(fā)展［3］。這就要求對學生的學習狀況展開多角度、多層面的個性化診斷，為指導和促進學習提供全面而有價值的信息和資料。隨著教育評價、認知科學、人工智能的發(fā)展，完善測評數(shù)據(jù)系統(tǒng)，創(chuàng)新教學診斷方法和手段，深度分析測評數(shù)據(jù)、挖掘測評數(shù)據(jù)的可利用價值，為學習者和教育者提供基于學習者個性差異的診斷報告成為可能。個性化教學診斷不僅可以滿足學習者個性化學習需求，而且可以幫助教師制定準確的教學目標、選擇適宜的教學內(nèi)容，在教學過程中不斷改善教學設計、調(diào)整教學進度。

認知診斷（Cognitive Diagnosis，CD）用于測量個體的知識 結(jié) 構（Knowledge Structure）和 加 工 技 能（Processing Skills），其目的是探討個體的心理加工機制，診斷個體當前的認知狀態(tài)，為個體因材施教、開展有針對性的補救提供服務［1-4］。如何對學習者的學習活動進行有效的認知診斷，從而檢測其知識、技能和思維能力的真實現(xiàn)狀，是當前要解決的主要問題。本文基于教育測評數(shù)據(jù)建立個性化認知診斷模型，從教學目標和知識點兩個維度分析測評數(shù)據(jù)，為學生和教師提供個性化的認知診斷報告，為教學提供科學及時的反饋。

1 相關研究

1.1 教育測量理論

教育測量是認知診斷的基礎。教育測量在教育評價、教育診斷等方面發(fā)揮著重要作用［5］。由于測量對象的特殊性，教育測量具有以下特點：無法直接測量，測量單位不固定，要為實現(xiàn)教育目的服務，測量對象復雜。教育測量理論一般分為經(jīng)典測量理論、概化理論和項目反應理論3 大類，經(jīng)典測量理論又稱真分數(shù)理論，它測量被測者的特征（知識、能力、個性）的真實值，但測量結(jié)果受抽樣樣本的變動影響較大，且對測試誤差無法深入研究；項目反應理論是通過項目反應曲線再綜合其它資料，分析試題和被測者之間的關系，適合高中低不同能力的學習者參加測驗。該理論需要建立復雜的數(shù)學公式，實現(xiàn)難度較大，而且樣本容量對精確性影響很大。概化理論認為應該從測量的情境關系中考察測量工作，該理論可以更好地控制測量誤差，但是與經(jīng)典測量理論一樣仍屬于隨機抽樣理論，容易受到隨機誤差影響。

1.2 教育測評數(shù)據(jù)選取及收集

在測評中收集的數(shù)據(jù)稱為教育測評數(shù)據(jù)，主要指學習過程中圍繞學習個體收集的數(shù)據(jù)［6-7］。選取哪些數(shù)據(jù)作為測評數(shù)據(jù)與學習評價的標準和教育測量的技術水平有關。文獻［7］認為不能通過統(tǒng)一的評價標準來衡量學習成效，不同學習者的評價標準、維度和指標應不同，應提供多種評價方案供學習者自主選擇或系統(tǒng)自動匹配?；诖耍谝粋€在線學習平臺上，初級學習者評價方案所選用的測評數(shù)據(jù)有學習時間、在線批注、編輯內(nèi)容、發(fā)表評論等。由于教育測量的特殊性和復雜性，對教學過程中全部數(shù)據(jù)進行采集存在障礙，除了期中考試、期末考試所能收集的總結(jié)性測評數(shù)據(jù)外，常態(tài)化練習和階段性測驗收集到的形成性測評數(shù)據(jù)都能大大豐富測評數(shù)據(jù)，為個性化診斷提供必要的數(shù)據(jù)基礎；文獻［8］認為測評數(shù)據(jù)包括試題與學習者兩個維度，其中試題維度數(shù)據(jù)以知識點為核心，包括知識點內(nèi)容、類型、難度、區(qū)分度、知識點之間的關系等，學習者維度數(shù)據(jù)以學生作答情況為主，包括答題正誤情況、解題過程、成績、排名等；文獻［9］為個性化網(wǎng)絡學習設計了一套具有層次結(jié)構的學習評價指標體系，涵蓋學生的個性特征、資源利用、交互與協(xié)作、階段性學習效果、知識應用等5個方面，為此選取的測評數(shù)據(jù)有：自我學習能力認識、學習目標認識、學習平臺在線時長、與該課程有關的其它在線時長、提問次數(shù)、回答問題次數(shù)、上傳學習資料次數(shù)、答疑次數(shù)、問題難度、期末考試成績、課程設計成績、畢業(yè)設計成績等。隨著線上學習平臺的普及和發(fā)展，越來越多的學習行為數(shù)據(jù)可通過學習平臺記錄和收集，測評數(shù)據(jù)范圍在不斷擴大，數(shù)據(jù)粒度變得越來越小，數(shù)據(jù)收集的技術手段越來越先進，為建立測評數(shù)據(jù)系統(tǒng)提供了支持條件。

1.3 個性化認知診斷模型與個性化認知診斷系統(tǒng)

研究者已從各種不同的角度提出近百種認知診斷模型，如規(guī)則空間模型、統(tǒng)合模型、確定性輸入、噪音“與”門模型、屬性層次方法等。這些模型的共同特點是計算復雜，需要大量的運算才能實現(xiàn)認知診斷，而且不易理解，一定程度上阻礙了其廣泛應用。文獻［8］實現(xiàn)了一個基于形成性測評數(shù)據(jù)的個性化學習評價系統(tǒng)，對學習平臺上生成的形成性測評信息進行歸類整理并納入評價標準。根據(jù)學習目標和知識掌握程度要求的不同，構成個性化評價方案，從學習態(tài)度、學習活動、內(nèi)容交互、資源工具、評分反饋等多方面對學習者的學習成效進行評價；牟智佳［10］構建了基于電子書包的個性化評價系統(tǒng)，設計基于教育大數(shù)據(jù)的個性化評價層次塔，從課程內(nèi)容學習、參與互動交流、考試與作品、課外資源學習4 個方面進行評價，并通過云管理層實現(xiàn)對教育云服務平臺、云存儲池和云集群計算平臺的調(diào)度和管理；Karamehic［11］、Yankovskaya 等［12］設計一個以證據(jù)為中心的評價系統(tǒng)，該系統(tǒng)以形成性評價或總結(jié)性評價為目的，提供與評價目的相適應的評價證據(jù)；文獻［13］提出一個學習和測試智能系統(tǒng)（Learning and testing intelligent system，LTIS），該系統(tǒng)利用基于認知組件（Cognitive compo?nent）的混合診斷測試（mixed diagnostic tests，MDT）方法對學習者的專業(yè)知識和技能進行評估。

雖然國內(nèi)外學者建立了較多的個性化認知診斷模型和系統(tǒng)，但在簡潔性和診斷屬性設計上還存在不足，也缺乏針對教學目標達成情況和知識點掌握情況的個性化認知診斷。本文設計面向教學目標和知識點的認知診斷屬性，基于云學習平臺上積累的教育測評數(shù)據(jù)建立個性化認知診斷模型，以實現(xiàn)教學過程中學習者的知識和認知水平的快速診斷。

2 理論基礎

建立個性化認知診斷模型，首先需要確定認知診斷屬性，為了診斷教學目標是否達成，本研究采用布魯姆教學目標分類學支撐學習者的認知維度；為了診斷知識的掌握情況，采用知識點作為學習者的知識維度。以Q 矩陣作為認知診斷方法，形式化描述學習是否達到教學目標要求及知識點是否完全掌握。

2.1 布魯姆教學目標分類學

在布魯姆教學目標分類學基本版基礎上，毛秀珍［14］對認知維度進行擴充，形成布魯姆教學目標分類學修訂版。在修訂版中，兩個認知維度分別是知識和認知過程，知識維度包含事實性知識、概念性知識、程序性知識和元認知知識4 個類別；認知過程維度包括記憶、理解、應用、分析、評價、創(chuàng)造6 個類別。本研究利用布魯姆教學目標分類學修訂版實現(xiàn)教學目標的表述、測量以及達成診斷：①根據(jù)教學目標設計試題，按照知識和認知過程兩個維度對每一道試題進行分類；②設置目標屬性，將知識和認知過程維度作為兩個測量屬性，計算學生對于知識維度各層級和認知過程維度各層級的掌握概率；③基于布魯姆教學目標分類學描述教學目標含義，對②中計算得到的掌握概率進行闡述，對教學目標是否達成進行診斷，從而完成個性化認知診斷。

2.2 Q 矩陣理論

Q 矩陣是一種基于規(guī)則空間模型的認知診斷模型，它包含多種類型矩陣，其中Q 矩陣是描述測驗項目與屬性間關系的矩陣，A 矩陣是反映屬性間直接關系的矩陣，R 矩陣是反映屬性間直接關系、間接關系和自身關系的矩陣。IRP 是被測試者對測驗項目的作答反應。Q 矩陣理論在量化不可觀測數(shù)據(jù)方面有獨特優(yōu)勢，可以把不便測量的認知屬性與可直接測量的學生試題作答情況聯(lián)系起來，為了解學生的認知水平提供條件。

在布魯姆教學目標分類學基礎上，利用Q 矩陣理論，為學生知識的掌握情況和認知水平的診斷提供計算方法。通過系統(tǒng)分析學生的測評數(shù)據(jù)對目標屬性進行診斷，實現(xiàn)面向教學目標和知識點的個性化認知診斷。

3 基于教育測評數(shù)據(jù)的個性化認知診斷建模

本研究以教育測評數(shù)據(jù)為數(shù)據(jù)來源，按照布魯姆教學目標分類學描述教學目標，根據(jù)Q 矩陣理論建立所測項目與屬性間關系的矩陣和項目反映矩陣，通過計算面向教學目標和知識點的屬性掌握概率建立個性化認知診斷模型。

3.1 測評試題分類與知識點分類

試題是教師為考核教學目標是否達成而編寫的用于學生作答的測驗項目，是教學目標的集中體現(xiàn)。為使認知診斷結(jié)果能準確反映學生對相關教學目標的達成情況，使用期中考試、期末考試及階段性測驗中的試題作為描述教學目標的依據(jù)，將在考試/測驗中收集到的數(shù)據(jù)作為測評數(shù)據(jù)，以此為基礎構建個性化認知診斷模型。具體內(nèi)容為：①試題按教學目標分類，從而將反映教學目標的試題內(nèi)容轉(zhuǎn)換為目標屬性。按照布魯姆教學目標分類學，將試題內(nèi)容所描述的教學目標中的動詞和名詞分別對應到兩個認知維度（知識和認知過程）的各層級，實現(xiàn)教學目標到目標屬性的轉(zhuǎn)換。例如，“運用進程調(diào)度策略解決調(diào)度問題”這一教學目標中，動詞“運用“與分類學中認知過程維度的“應用”這一層級相對應，名詞“進程調(diào)度策略”與知識維度的程序性知識這一層級相對應，該教學目標屬于應用程序性知識類別，它的兩個目標屬性分別是“程序性知識”和“應用”；②試題按知識點分類，實現(xiàn)試題內(nèi)容到知識點屬性的轉(zhuǎn)換。為診斷學生對知識點的掌握情況，反映試題和知識點的對應關系，將教材上內(nèi)容所涉及的知識點表示出來構成知識點集合，并把每一道試題拆分成一個或若干個知識點并與知識點集合進行耦合，構成試題—知識點矩陣。

3.2 基于Q 矩陣的認知診斷計算

屬性掌握概率模型是一種容易理解、計算較為簡單的認知診斷模型。根據(jù)該模型，學生必須掌握一個試題所涉及的所有目標屬性才能答對該試題，可以先觀察學生在涉及某個屬性的所有試題上的作答情況，定性估計學生對該屬性的掌握情況，然后用試題答對概率定量計算屬性掌握概率的值，值越大說明學生對該目標屬性的掌握越好。本文基于Q 矩陣的屬性掌握概率模型，實現(xiàn)對教學目標屬性值和知識點屬性值的計算，從而進行個性化認知診斷。計算步驟如下：

（1）假設在某次考試/測驗中試題總數(shù)為M，試題集合為：

學生總數(shù)為N，學生集合為：S={s1,s2,…,sN}，則利用S×T 構成項目反應矩陣R：

其中rij=1 表示學生si答對了試題tj，否則rij=0。

（2）假設試題涉及的教學目標屬性數(shù)為L1，教學目標屬性集合為：O={o1,o2,…,oL1}，知識點屬性數(shù)為L2，知識點屬性集合：K={k1,k2,…,kL2}，則利用T×O 和K×O 可構成描述試題與所測屬性關系的Q 矩陣Q1 和Q2：

其中，pij=1 表示試題ti涉及了教學目標屬性oj，否則pij=0，Q2 與Q1 類似。

（3）根據(jù)第（1）和第（2）步得到的矩陣R、Q1 和Q2，分別計算出每個學生在每個教學目標屬性上答對的試題個數(shù)和每個知識點屬性上答對的試題個數(shù)：

mij表示學生si在教學目標屬性oj上答對的試題個數(shù)，N2 與N1 類似。

（4）學生si在教學目標屬性ok上的答對頻率計算為fik=若Sk=0，則fik=0。其中表示涉及屬性ok的試題總數(shù)。學生si在知識點屬性kt上的答對頻率為git=若St=0，則git=0。其中表示涉及屬性kt的試題總數(shù)。將學生si答對試題tj的概率估計為試題tj所涉及所有教學目標屬性的答對頻率與所有知識點屬性的答對頻率之乘積：

（5）將學生si對教學目標屬性ok的掌握概率估計為涉及教學目標屬性ok且學生si作答所有試題答對概率之和與涉及屬性ok的所有試題答對概率之和的比值：

學生si對知識點屬性kt的掌握概率P'it的計算與Pik類似。

3.3 個性化認知診斷模型生成

在確定研究目標、研究數(shù)據(jù)以及研究方法基礎上對個性化認知診斷的核心內(nèi)容進行描述，并由此構建個性化認知診斷模型，如圖1 所示。該模型基于教學目標和知識點兩個維度，在教學目標維度使用布魯姆教學目標分類學的方法描述教學目標，利用學生答題數(shù)據(jù)對教學目標達成的客觀反映計算學生在每個層級的教學目標達成度，從而度量學生內(nèi)在的認知水平。在知識點維度，以知識點掌握情況為目標，利用學生答題數(shù)據(jù)對知識點掌握的客觀反映度量學生外在的知識點掌握程度。在此基礎上進行包括教學目標達成診斷、知識點掌握程度診斷、學習風險預警以及成績、排名等反饋在內(nèi)的個性化認知診斷。最終，將診斷結(jié)果反饋給師生，使教師和學生可從教和學兩方面同時入手改善認知能力和知識點的薄弱之處。由于采用了真實的教育測評數(shù)據(jù)，所以診斷結(jié)果能夠更加客觀地反映學生的認知水平和知識點掌握程度；由于使用了簡潔高效的基于Q 矩陣的屬性掌握概率算法，使得模型在學生規(guī)模和試題規(guī)模有較大增長的情況下仍具有較好性能。

4 驗證與分析

4.1 研究對象與數(shù)據(jù)選取

本研究以西安郵電大學廣電專業(yè)兩個班級65 名學生為研究對象，以在云學習平臺上收集到的10 次測試活動的測評數(shù)據(jù)作為數(shù)據(jù)來源對模型進行驗證和分析。測評數(shù)據(jù)包括試題和學生兩個維度。試題維度的數(shù)據(jù)以教學目標和知識點為核心，試題數(shù)據(jù)共選取32 道試題，涉及操作系統(tǒng)原理課程的操作系統(tǒng)概述、進程管理共5 章教學內(nèi)容，題型為選擇、填空、簡答、計算，通過分析教學內(nèi)容和課程特點，將教學目標劃分為記憶事實性知識、記憶概念性知識等18 個類型（沒有創(chuàng)造類、記憶程序性類和記憶元認知類），同時，從全部教學內(nèi)容中提取出操作系統(tǒng)概述、多道程序設計、分時系統(tǒng)等16 個知識點，最后將每道試題歸屬到相關的教學目標和相關知識點。學生維度以學生的作答情況為核心，包括答題正誤情況、解題過程、成績、排名等。

Fig.1 Personalized cognitive diagnosis model based on educational evaluation data圖1 基于教育測評數(shù)據(jù)的個性化認知診斷模型

4.2 教學現(xiàn)狀分析

之前主要采用傳統(tǒng)的教學診斷方法即分數(shù)診斷法，由于非本專業(yè)必修課，因此只有期末考試作為唯一考核?？荚嚱Y(jié)束后，將學生的總分進行排名，通過統(tǒng)計分數(shù)段人數(shù)和比例，計算平均值、標準差力求掌握班級整體情況。這種診斷方法忽略了試題題型、難度、內(nèi)容以及評分標準的差異，診斷信息比較單一，難以深入挖掘測評數(shù)據(jù)，幾乎沒有對學生進行個性化診斷。

4.3 教學目標達成度的個性化認知診斷

利用個性化認知診斷計算步驟進行如下計算：①構成Q 矩陣和項目反應矩陣R。對試題進行分析，將試題分別與18 個教學目標進行耦合，得到試題和教學目標屬性的關聯(lián)矩陣Q1。對學生的答題情況進行分析，構成項目反應矩陣R；②利用矩陣乘法計算每個學生在各教學目標屬性上答對的試題個數(shù)，即得到矩陣N1；③在學生對教學目標屬性答對頻率的基礎上計算學生試題的答對概率；④計算學生對各教學目標屬性的掌握概率，結(jié)果見表1。表1 中“理解事實性知識”元素均為0，表示沒有涉及該教學目標的試題，“理解概念性知識”元素為1 表示學生完全達到了相應教學目標要求。

Table 1 Estimated value of probability of mastering teaching objectives表1 教學目標掌握概率估計值

從班級整體看，學生對布魯姆教學目標的達成度在知識和認知過程兩個維度均隨著屬性層級的升高而降低。在知識維度認知過程一定的情況下（比如“理解”），學生對“事實性知識”掌握最好，“概念性知識”次之，“程序性知識”最差。在認知過程維度，知識類型一定的情況下（比如“概念性知識”），隨著對學生認知能力要求的提高，教學目標達成度逐漸降低，詳情如圖2 所示。從學生個體看，將某個學生的達成情況與班級整體進行對比，可以診斷出學生與班級整體水平之間的正負距離。比如，學生60 在“理解事實性知識、概念性知識、程序性知識”“應用及評價程序性知識”方面優(yōu)于班級平均水平，而在“記憶、分析和評價概念性知識”以及“分析程序性知識”方面低于班級平均水平，如圖3 所示。該名學生應該加強對基本概念的學習，提高程序性知識的分析能力。將學生之間的達成情況進行比較，學生之間可以更有針對性地優(yōu)勢互補。比如學生5在多個教學目標上與學生28 存在較大差距，可以在二者之間形成有效的生—生互動。而在“分析概念性知識”方面，后者又可以向前者分享學習經(jīng)驗，見圖4。面向教學目標的學生個體之間的比較，打破了傳統(tǒng)的優(yōu)等生和后進生的界定標準，更易于在學生之間找到互補空間，促進學生互動。

Fig.2 Attainment of the overall teaching objectives of the class圖2 班級整體教學目標達成度

Fig.3 Comparison of the achievement of teaching objectives between individual students and class as a whole圖3 學生個體與班級整體教學目標達成度比較

Fig.4 Comparison of achievement degree of teaching objectives among individual students圖4 學生個體之間教學目標達成度比較

4.4 知識點掌握程度的個性化認知診斷

利用個性化認知診斷計算步驟進行計算：①構成Q 矩陣和項目反應矩陣R。對試題進行分析，將試題分別與16個知識點進行耦合，得到試題和知識點屬性的關聯(lián)矩陣Q2；②利用矩陣乘法，計算出每個學生在各知識點屬性上答對的試題個數(shù)，得到矩陣N2；③在學生對知識點屬性答對頻率基礎上計算學生對試題的答對概率；④計算學生對各知識點屬性的掌握概率，結(jié)果見表2。

Table 2 Knowledge points grasp probability estimation value表2 知識點掌握概率估計值

從整體看，學生對知識點掌握程度由高到低依次為：操作系統(tǒng)概述→重定位→用戶接口→虛擬內(nèi)存→死鎖→實時系統(tǒng)→請求分頁→批處理系統(tǒng)→進程狀態(tài)→進程同步→進程結(jié)構→分頁管理→分時系統(tǒng)→多道程序設計→段頁式管理，班級整體對知識點的掌握情況見圖5。從圖中可以看出，大部分知識點掌握程度都在0.7 以上，說明大部分學生基本掌握了所學內(nèi)容?！岸雾撌焦芾怼闭莆粘潭茸畈睿挥?.338 462。該知識點綜合了分段管理和分頁管理兩個知識點內(nèi)容，分段管理和分頁管理具有較為復雜且容易混淆的管理機制，造成大部分學生在學習該知識點時遇到困難，教師應給予該知識點更多的指導，學生也應加強該知識點的練習。對學生在每個知識點掌握情況進行對比，如學生6 在“進程狀態(tài)”知識點上掌握概率的估計值只有0.333 333 3，在“進程同步”知識點上的估計值只有0.25，大大低于其它知識點估計值，而且該學生在多個知識點上低于班級平均水平，需要提出預警。學生60 在“批處理系統(tǒng)”等多個知識點上估計值為0，排除缺考原因，需要提出強預警。將學生之間的知識點掌握情況進行比較，有助于學生之間更有針對性地優(yōu)勢互補，如圖6、圖7 所示。

Fig.5 Comparison of mastery of knowledge points between individu?al students and class as a whole圖5 學生個體與班級整體知識點掌握程度比較

Fig.6 Master degree of overall knowledge points in class圖6 班級整體知識點掌握程度

Fig.7 Comparison of mastery of knowledge points among students圖7 學生個體之間知識點掌握程度比較

4.5 個性化認知診斷應用

由于本研究采用的測評數(shù)據(jù)來源于在線學習平臺，要求教師和學生具備使用網(wǎng)上學習平臺技能，因此適合在高校開展個性化認知診斷。從診斷方法上看，雖然基于Q 矩陣的屬性掌握概率模型相比其它認知診斷模型容易理解、計算簡單，但仍包含了多個較為復雜的計算步驟，教師需要掌握Q 矩陣理論和屬性概率理論才能應用該模型。

5 結(jié)語

基于教育測評數(shù)據(jù)的個性化認知診斷可為學習者的個性化學習和教師的因材施教提供保障。布魯姆教學目標分類學為診斷學習者的認知水平提供了較好支撐，基于Q 矩陣的屬性概率計算可以簡潔高效地支持個性化認知診斷模型的計算需要。本文從面向教學目標和知識點目標屬性設計、個性化認知診斷計算流程、個性化認知診斷模型生成3 個方面，對基于教育測評數(shù)據(jù)的個性化認知診斷建模進行了闡述，并以布魯姆教學目標分類學和Q 矩陣理論為基礎建立個性化認知診斷模型。以西安郵電大學廣電專業(yè)兩個班級65 名學生為研究對象，將在云學習平臺上收集到的10 次測評數(shù)據(jù)作為數(shù)據(jù)來源對模型進行了驗證。后續(xù)將把本研究取得的成果整合到教學平臺中，對學習者進行及時的個性化認知診斷及反饋，幫助教師制訂教學目標、調(diào)整教學進度、完善教學設計，最終提高教學效果。