基于閱讀認(rèn)知診斷的學(xué)生表現(xiàn)預(yù)測(cè)

江培超，王 川，胡富珍，李 奇，王曉東

1.河南師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453007

2.河南師范大學(xué) 教育學(xué)部，河南 新鄉(xiāng) 453007

近年來，在線教育平臺(tái)的發(fā)展為學(xué)生的自主學(xué)習(xí)與個(gè)性化導(dǎo)學(xué)提供了重要手段。例如，大規(guī)模在線開放課程（massive open online course）[1]、智能教輔系統(tǒng)（intelligent tutoring system）[2]以及移動(dòng)自主學(xué)堂（mobile autonomous school）[3-4]。其中，這些平臺(tái)的關(guān)鍵任務(wù)之一是預(yù)測(cè)學(xué)生表現(xiàn)（predicting student performance，PSP）。

一般地，PSP任務(wù)旨在評(píng)估學(xué)生在一系列試題上的得分情況，即預(yù)測(cè)學(xué)生是否可以正確作答相應(yīng)試題（答對(duì)為1，答錯(cuò)為0）[5]。它可被進(jìn)一步推廣到多種教育應(yīng)用中，例如個(gè)性化試題推薦[6]、教學(xué)計(jì)劃提升等[7-8]。

教育心理學(xué)中的認(rèn)知診斷方法（cognitive diagnosis）利用學(xué)生在某些試題上的作答記錄對(duì)其知識(shí)狀態(tài)（如知識(shí)點(diǎn)掌握程度）進(jìn)行評(píng)估，通過結(jié)合評(píng)估結(jié)果與教育先驗(yàn)知識(shí)（如試題-知識(shí)點(diǎn)矩陣Q）[9]預(yù)測(cè)學(xué)生的試題得分。顯然，認(rèn)知診斷方法使得預(yù)測(cè)結(jié)果具備了良好的解釋性。然而，由于學(xué)生的知識(shí)狀態(tài)具有一定的隱蔽性[10]，因此僅通過學(xué)生的作答記錄對(duì)其進(jìn)行推斷可能存在誤差，從而難以保證預(yù)測(cè)結(jié)果的準(zhǔn)確性。推薦系統(tǒng)中的協(xié)同過濾方法也可用于預(yù)測(cè)學(xué)生表現(xiàn)，例如k近鄰算法（knearest neighbor，kNN）[11]、矩陣分解（matrix factorization）[12]。其中，矩陣分解是一種典型的預(yù)測(cè)技術(shù)，它將學(xué)生的得分矩陣分解成學(xué)生與試題的潛在特征向量。但是，由于分解的潛在向量難以理解，導(dǎo)致預(yù)測(cè)結(jié)果的可解釋性較弱，即不能清晰地描述出潛在向量中的元素與特定知識(shí)點(diǎn)的對(duì)應(yīng)關(guān)系。此外，無論是認(rèn)知診斷方法還是協(xié)同過濾方法，它們?cè)陬A(yù)測(cè)學(xué)生表現(xiàn)時(shí)僅考慮了學(xué)生的試題作答記錄，然而在實(shí)際場(chǎng)景中，某些試題作答記錄的獲取是不現(xiàn)實(shí)的。例如，在某些標(biāo)準(zhǔn)化測(cè)試中，諸如重要的托福（TOEFL）、雅思（IELTS）考試與一般的期中、期末考試，由于測(cè)試開始之前無法提供學(xué)生的試題作答記錄，使得上述方法難以預(yù)測(cè)學(xué)生的試題表現(xiàn)。總結(jié)起來，現(xiàn)有方法在預(yù)測(cè)學(xué)生表現(xiàn)時(shí)主要存在如下問題。首先，預(yù)測(cè)結(jié)果的準(zhǔn)確性與可解釋性難以同時(shí)保證[6，13]。其次，受限于某些真實(shí)場(chǎng)景，導(dǎo)致無法預(yù)先獲取學(xué)生的試題作答結(jié)果。因此，在沒有學(xué)生作答記錄的情況下，現(xiàn)有方法難以預(yù)測(cè)學(xué)生表現(xiàn)。

實(shí)際上，學(xué)生在作答試題之前，通常會(huì)選擇性地閱讀一些具有輔助性質(zhì)的文本類學(xué)習(xí)材料，來鞏固自身的知識(shí)狀態(tài)（彌補(bǔ)自身對(duì)某些知識(shí)點(diǎn)掌握的不足），從而提高其作答表現(xiàn)。由于不同學(xué)生自身固有的知識(shí)水平不同，使得其所閱讀學(xué)習(xí)材料的內(nèi)容（閱讀內(nèi)容）也不盡相同。因此，學(xué)生的閱讀內(nèi)容往往表達(dá)了他們對(duì)不同知識(shí)點(diǎn)的掌握與需求程度，從而反映出自身的知識(shí)狀態(tài)，即所提閱讀認(rèn)知診斷（reading cognitive diagnosis）。為了更好地說明，圖1展示了一個(gè)閱讀認(rèn)知診斷的形象例子。學(xué)生在作答試題之前，閱讀了一些與試題所考察特定知識(shí)點(diǎn)相關(guān)的學(xué)習(xí)材料（學(xué)習(xí)材料L1、L2、L3），由于這些學(xué)習(xí)材料與試題之間具有較強(qiáng)的關(guān)聯(lián)性（兩者同時(shí)考察了知識(shí)點(diǎn)K1、K2、K3），那么學(xué)生在閱讀學(xué)習(xí)材料后可能會(huì)對(duì)特定知識(shí)點(diǎn)具備一定的熟練程度（對(duì)知識(shí)點(diǎn)K1、K2、K3的掌握程度），從而達(dá)到提升作答表現(xiàn)的目的（提高了試題E2、E3得分）。因此，閱讀認(rèn)知診斷可以反映出學(xué)生的知識(shí)狀態(tài)，有助于預(yù)測(cè)學(xué)生表現(xiàn)。表1給出了一個(gè)學(xué)習(xí)材料示例。

圖1 閱讀認(rèn)知診斷示例Fig.1 Example of reading cognitive diagnosis

表1 學(xué)習(xí)材料示例Table 1 Example of learning material

為了提高預(yù)測(cè)結(jié)果的準(zhǔn)確性與可解釋性，本文以閱讀認(rèn)知診斷的方式，建模學(xué)生知識(shí)狀態(tài)，預(yù)測(cè)學(xué)生表現(xiàn)，在此過程中面臨著如下問題。首先，準(zhǔn)確建模學(xué)生的知識(shí)狀態(tài)是有效預(yù)測(cè)學(xué)生表現(xiàn)的前提。通常，學(xué)生閱讀學(xué)習(xí)材料后會(huì)對(duì)其產(chǎn)生一個(gè)潛在的認(rèn)知程度[14-15]，潛在認(rèn)知程度的不同可能會(huì)導(dǎo)致他們具有不同的知識(shí)狀態(tài)。因此，如何量化學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度？其次，學(xué)習(xí)材料的難度可能會(huì)影響學(xué)生對(duì)特定知識(shí)點(diǎn)的掌握程度[16-17]，從而影響其知識(shí)狀態(tài)。因此，如何對(duì)學(xué)習(xí)材料的難度進(jìn)行量化？最后，如何基于閱讀認(rèn)知診斷建模學(xué)生知識(shí)狀態(tài)，得到堪用的學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果？

為了解決這些問題，本文提出一種基于閱讀認(rèn)知診斷的知識(shí)狀態(tài)建模方法（reading cognitive diagnosis，記為ReadingCD），預(yù)測(cè)學(xué)生表現(xiàn)。首先，利用學(xué)生的閱讀內(nèi)容，量化出學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度。其次，通過結(jié)合教育學(xué)假設(shè)，量化得到學(xué)習(xí)材料相對(duì)于每個(gè)學(xué)生的難度。然后，利用上述兩個(gè)量化結(jié)果，計(jì)算出學(xué)生對(duì)每個(gè)學(xué)習(xí)材料的實(shí)際掌握程度。在此基礎(chǔ)上，根據(jù)教育先驗(yàn)知識(shí)（學(xué)習(xí)材料與知識(shí)點(diǎn)之間的關(guān)聯(lián)）評(píng)估學(xué)生對(duì)每個(gè)知識(shí)點(diǎn)的掌握程度，作為學(xué)生知識(shí)狀態(tài)的建模結(jié)果，據(jù)此預(yù)測(cè)學(xué)生表現(xiàn)。因此，本文的主要貢獻(xiàn)為：（1）提出了一種關(guān)于學(xué)習(xí)材料潛在認(rèn)知程度的量化方法，該方法可以有效應(yīng)用于學(xué)生的知識(shí)狀態(tài)建模；（2）提出了一種關(guān)于學(xué)習(xí)材料難度的量化方法，該方法結(jié)合合理的教育學(xué)假設(shè)，更為準(zhǔn)確地刻畫了學(xué)生的知識(shí)狀態(tài)；（3）設(shè)計(jì)了一種知識(shí)狀態(tài)建模方法ReadingCD并用其預(yù)測(cè)學(xué)生表現(xiàn)。實(shí)驗(yàn)證明，該方法提高了預(yù)測(cè)結(jié)果的準(zhǔn)確性與可解釋性。同時(shí)，可以預(yù)測(cè)學(xué)生在無作答記錄情況下的試題得分，一定程度上緩解了目前方法在實(shí)際應(yīng)用中的局限性。

1 相關(guān)研究

1.1 認(rèn)知診斷

教育心理學(xué)中的認(rèn)知診斷方法可以發(fā)現(xiàn)學(xué)生的知識(shí)狀態(tài)，進(jìn)而預(yù)測(cè)學(xué)生表現(xiàn)[18]。通常，傳統(tǒng)的認(rèn)知診斷模型可被分為兩類：連續(xù)型與離散型。其中，項(xiàng)目反應(yīng)理論（item response theory，IRT）是一種典型的連續(xù)型模型，它通過邏輯函數(shù)將每個(gè)學(xué)生的知識(shí)狀態(tài)刻畫為一個(gè)連續(xù)的數(shù)值變量[16]，用以描述學(xué)生的綜合知識(shí)能力。相較而言，DINA模型（deterministic inputs，noisyand gate）作為一種離散模型，將學(xué)生的知識(shí)狀態(tài)表示為一個(gè)二值向量[9]，表示學(xué)生是否掌握了Q矩陣中的知識(shí)點(diǎn)（掌握為1，未掌握為0）。雖然認(rèn)知診斷方法的可解釋性較強(qiáng)，但得到的預(yù)測(cè)結(jié)果通常不夠準(zhǔn)確[6，13]。為了提高預(yù)測(cè)的有效性，相關(guān)學(xué)者對(duì)認(rèn)知診斷模型進(jìn)行了改進(jìn)。例如，文獻(xiàn)[19]與文獻(xiàn)[20]在模型中融入了時(shí)間因素。文獻(xiàn)[13]提出了FuzzyCDF以預(yù)測(cè)學(xué)生在主觀試題與客觀試題上的表現(xiàn)。文獻(xiàn)[21]提出了結(jié)合神經(jīng)網(wǎng)絡(luò)的NeuralCD，用以學(xué)習(xí)學(xué)生與試題之間的復(fù)雜關(guān)系。

1.2 協(xié)同過濾

近年來，研究者嘗試使用推薦系統(tǒng)中的協(xié)同過濾方法預(yù)測(cè)學(xué)生表現(xiàn)，它可以分為兩類：基于近鄰的協(xié)同過濾與基于模型的協(xié)同過濾。其中，基于近鄰的協(xié)同過濾[11]根據(jù)學(xué)生的試題作答記錄計(jì)算學(xué)生之間的相似度，據(jù)此找到目標(biāo)學(xué)生的相似學(xué)生群組，通過利用相似群組中學(xué)生的試題得分，對(duì)目標(biāo)學(xué)生進(jìn)行得分預(yù)測(cè)?；谀Ｐ偷膮f(xié)同過濾，如矩陣分解，已被廣泛應(yīng)用于學(xué)生表現(xiàn)預(yù)測(cè)中。例如，文獻(xiàn)[22]改進(jìn)奇異值分解方法（singular value decomposition），通過得分矩陣來獲得學(xué)生與試題的潛在特征向量。文獻(xiàn)[12]將矩陣分解與傳統(tǒng)回歸方法在學(xué)生表現(xiàn)預(yù)測(cè)中進(jìn)行比較。隨后，文獻(xiàn)[23]提出一種用于智能教輔系統(tǒng)中學(xué)生建模的多維關(guān)系分解方法（multi-relational factorization）。此外，文獻(xiàn)[24]應(yīng)用非負(fù)矩陣分解方法（nonnegative matrix factorization，NMF）[25]推斷Q矩陣。為了捕捉學(xué)生的答題過程，相關(guān)學(xué)者考慮了一些額外因素。例如，文獻(xiàn)[26]提出一種通過增加額外時(shí)間因素的張量分解方法。文獻(xiàn)[27]注意到學(xué)習(xí)曲線理論（learning curve theory）與遺忘曲線理論（forgetting curve theory）對(duì)學(xué)生表現(xiàn)的影響，將二者納入統(tǒng)一的概率框架。雖然矩陣分解技術(shù)一定程度上提高了預(yù)測(cè)結(jié)果的準(zhǔn)確性，但是，由其推斷出潛在特征向量的每個(gè)維度不能與特定的知識(shí)點(diǎn)相關(guān)聯(lián)，導(dǎo)致學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果的可解釋性較弱。

此外，認(rèn)知診斷方法與協(xié)同過濾方法預(yù)測(cè)時(shí)大多利用了學(xué)生的試題作答記錄，因此難以預(yù)測(cè)無作答記錄的學(xué)生在試題上的得分，這使得目前方法在實(shí)際應(yīng)用中具有一定的局限性。

2 問題定義

針對(duì)具體工作，給出知識(shí)狀態(tài)建模方法ReadingCD的問題定義。一方面，給定學(xué)生集合S={S1,S2,…,SU}，試題集合E={E1,E2,…,EV}，知識(shí)點(diǎn)集合K={K1,K2,…,K D}，學(xué)習(xí)材料集合L={L1,L2,…,L N}。另一方面，給定學(xué)生的作答記錄R=[r uv]U×V，其中r uv=0表示學(xué)生S u答錯(cuò)試題E v，r uv=1表示學(xué)生S u答對(duì)試題E v；試題-知識(shí)點(diǎn)矩陣Q=[q vd]V×D（由專家標(biāo)記），其中q vd=0表示試題E v未關(guān)聯(lián)知識(shí)點(diǎn)K d，q vd=1表示試題E v關(guān)聯(lián)了知識(shí)點(diǎn)K d；學(xué)習(xí)材料-知識(shí)點(diǎn)矩陣M=[mnd]N×D（由專家標(biāo)記），其中mnd=0表示學(xué)習(xí)材料L n未關(guān)聯(lián)知識(shí)點(diǎn)K d，mnd=1表示學(xué)習(xí)材料L n關(guān)聯(lián)了知識(shí)點(diǎn)Kd。此外，給定閱讀記錄C u={L ui|i∈1,2,…,N}，其中L ui表示學(xué)生S u閱讀過的學(xué)習(xí)材料L i。值得注意地，矩陣M作為一種教育先驗(yàn)知識(shí)，可以反映出學(xué)習(xí)材料與知識(shí)點(diǎn)之間的關(guān)聯(lián)。

定義1給定學(xué)生的閱讀記錄C、試題-知識(shí)點(diǎn)矩陣Q與學(xué)習(xí)材料-知識(shí)點(diǎn)矩陣M，本文目標(biāo)為通過建模學(xué)生的知識(shí)狀態(tài)，預(yù)測(cè)其試題得分。

3 閱讀認(rèn)知診斷模型構(gòu)建

此部分將詳細(xì)介紹ReadingCD的構(gòu)建方法。如圖2所示，ReadingCD由四個(gè)部分組成，自上而下分別是學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度、學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度、學(xué)生的試題掌握程度以及預(yù)測(cè)得到的試題得分。其中，每一步的計(jì)算將在以下部分中分別闡述。為了更好地說明，表2列出了建模過程中的一些重要數(shù)學(xué)符號(hào)及對(duì)應(yīng)描述。

表2 ReadingCD的相關(guān)符號(hào)及對(duì)應(yīng)描述Table 2 Symbols and descriptions of ReadingCD

圖2 ReadingCD的結(jié)構(gòu)Fig.2 Structure of ReadingCD

3.1 學(xué)習(xí)材料實(shí)際掌握程度計(jì)算

合理建模學(xué)生的知識(shí)狀態(tài)是有效預(yù)測(cè)學(xué)生表現(xiàn)的前提。一般來說，學(xué)生閱讀學(xué)習(xí)材料的目的是為了鞏固自身的知識(shí)狀態(tài)，即彌補(bǔ)其在某些知識(shí)點(diǎn)掌握上的不足。因此，學(xué)生對(duì)其閱讀學(xué)習(xí)材料的實(shí)際掌握程度，往往可以體現(xiàn)自身知識(shí)狀態(tài)的鞏固效果。例如，學(xué)生對(duì)其閱讀某一學(xué)習(xí)材料（如《牛頓第二定律》）的實(shí)際掌握程度較高，那么該生對(duì)此學(xué)習(xí)材料所關(guān)聯(lián)知識(shí)點(diǎn)（即加速度、作用力、質(zhì)量）的掌握程度可能較高，因此可以達(dá)到鞏固知識(shí)狀態(tài)的目的。為此，計(jì)算學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度，以此作為知識(shí)狀態(tài)建模的基礎(chǔ)。

從心理學(xué)角度來說，每一個(gè)用戶都有一個(gè)高階的潛在特質(zhì)（用戶對(duì)項(xiàng)目的潛在認(rèn)知程度）[14-15]，同時(shí)，每一個(gè)項(xiàng)目也具備了自然屬性（項(xiàng)目難度）[16-17]，兩者共同影響著用戶對(duì)項(xiàng)目的理解程度。根據(jù)上述思想，將用戶類比為學(xué)生，項(xiàng)目類比為學(xué)習(xí)材料，認(rèn)為學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度，一方面取決于學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度，另一方面也依賴于學(xué)習(xí)材料的難度。為此，依循文獻(xiàn)[15]在項(xiàng)目反應(yīng)理論中采用的邏輯斯蒂模型，將學(xué)生S u對(duì)學(xué)習(xí)材料L n的實(shí)際掌握程度a un定義為：

根據(jù)經(jīng)驗(yàn)，將εun的歸一化范圍設(shè)置為[-3，3]，如式（3）所示：

其中，εmax與εmin分別表示ε中的最大值與最小值。學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ與學(xué)習(xí)材料難度b的量化分別在3.1.1小節(jié)與3.1.2小節(jié)中詳細(xì)闡述。

3.1.1 學(xué)習(xí)材料潛在認(rèn)知程度量化

通常，學(xué)生會(huì)選擇性地閱讀一些學(xué)習(xí)材料，在閱讀過程中，他們往往會(huì)花費(fèi)一定的時(shí)間與精力對(duì)這些學(xué)習(xí)材料進(jìn)行學(xué)習(xí)與研究，以鞏固自身的知識(shí)狀態(tài)。因此，學(xué)生閱讀學(xué)習(xí)材料的內(nèi)容中，往往隱含著大量學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知信息。為此，考慮利用學(xué)生閱讀學(xué)習(xí)材料的內(nèi)容，量化其對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度。

一般來說，可利用學(xué)生的閱讀內(nèi)容構(gòu)建關(guān)鍵詞向量模型對(duì)學(xué)生形式化表示。然后計(jì)算學(xué)生與學(xué)習(xí)材料之間的相似度，用其表示學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度。但是，僅通過構(gòu)建關(guān)鍵詞向量模型不足以反映出學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知信息。例如，學(xué)生將對(duì)與其關(guān)鍵詞向量相似的學(xué)習(xí)材料具備較高的潛在認(rèn)知程度，而對(duì)與其關(guān)鍵詞向量迥異的學(xué)習(xí)材料具備較低的潛在認(rèn)知程度，甚至為0，這是不合理的?，F(xiàn)實(shí)場(chǎng)景中，學(xué)生可能會(huì)對(duì)與其閱讀內(nèi)容相關(guān)的學(xué)習(xí)材料具備較高的潛在認(rèn)知程度，即對(duì)具有相似主題的學(xué)習(xí)材料具備較高的潛在認(rèn)知程度。例如，學(xué)習(xí)材料（如《牛頓第二定律》）與學(xué)習(xí)材料（如《描述物體運(yùn)動(dòng)變化的快慢：加速度》）之間在內(nèi)容上具有一定的相關(guān)性，但卻沒有較多相同的關(guān)鍵詞。為此，利用學(xué)生的閱讀內(nèi)容，從關(guān)鍵詞、主題兩個(gè)維度形式化表示學(xué)生。然后計(jì)算學(xué)生與學(xué)習(xí)材料之間的相似度，表示學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度。具體地，學(xué)習(xí)材料潛在認(rèn)知程度量化可分為學(xué)習(xí)材料形式化表示、學(xué)生形式化表示、相似度計(jì)算三個(gè)部分，以下將分別闡述。

（1）學(xué)習(xí)材料形式化表示

為了將學(xué)生與學(xué)習(xí)材料進(jìn)行相似度比對(duì)，需要對(duì)每個(gè)學(xué)習(xí)材料形式化表示。對(duì)于學(xué)習(xí)材料L n，可將其表示為L(zhǎng) n={K n;P n}。其中K n表示L n的關(guān)鍵詞向量，P n表示L n的主題分布向量。

為了獲取學(xué)習(xí)材料的關(guān)鍵詞向量K，首先通過jieba分詞工具對(duì)集合L中每個(gè)學(xué)習(xí)材料的文本內(nèi)容進(jìn)行分詞、去停用詞處理。之后通過TF-IDF算法（term frequency-inverse document frequency）[28]計(jì)算分詞結(jié)果中每個(gè)詞語(yǔ)的權(quán)重，進(jìn)而構(gòu)建學(xué)習(xí)材料的關(guān)鍵詞向量K n={K n1:ωn1,K n2:ωn2,…,K nT:ωnT}。其中K nj、ωnj分別表示學(xué)習(xí)材料L n的關(guān)鍵詞j及其對(duì)應(yīng)權(quán)重。

為了獲取學(xué)習(xí)材料的主題分布向量P，使用LDA主題模型（latent Dirichlet allocation）[29]挖掘集合L中每個(gè)學(xué)習(xí)材料潛在的主題分布。該模型可以從學(xué)習(xí)材料的語(yǔ)料庫(kù)中提取代表性詞語(yǔ)列表作為某一主題，最終將集合L中每個(gè)學(xué)習(xí)材料的主題以概率分布的形式呈現(xiàn)。因此，學(xué)習(xí)材料主題分布的最終挖掘結(jié)果為P n={P n1:νn1,Pn2:νn2,…,P nK:νnK}。其中P nj、νnj分別表示學(xué)習(xí)材料L n的主題j及其對(duì)應(yīng)權(quán)重。

（2）學(xué)生形式化表示

對(duì)于學(xué)生S u，從其閱讀學(xué)習(xí)材料的內(nèi)容C u中提取相應(yīng)的關(guān)鍵詞與主題，進(jìn)而將其形式化表示為S u={F u;G u}。其中F u、G u分別表示學(xué)生S u的關(guān)鍵詞向量與主題分布向量。

已知學(xué)生S u的閱讀記錄C u={L ui|i∈1,2,…,N}，則其閱讀的學(xué)習(xí)材料Lui可被形式化表示為L(zhǎng) ui={K ui;P ui}。從其閱讀內(nèi)容Cu中提取用于形式化表示學(xué)生的關(guān)鍵詞，構(gòu)建學(xué)生的關(guān)鍵詞向量F u={Fu1:σu1,F u2:σu2,…,F uT:σuT}。其中Fuj、σuj分別表示學(xué)生S u的關(guān)鍵詞j及其對(duì)應(yīng)權(quán)重，σuj的計(jì)算見式（4）：

其中，ωuij表示關(guān)鍵詞j在學(xué)生S u所閱讀學(xué)習(xí)材料L ui的關(guān)鍵詞向量K ui中的對(duì)應(yīng)權(quán)重。式（4）對(duì)應(yīng)的分式中，分母部分表示在學(xué)生S u的閱讀內(nèi)容C u中，包含學(xué)生關(guān)鍵詞F uj的學(xué)習(xí)材料的個(gè)數(shù)；分子部分表示提取閱讀內(nèi)容C u中所有包含學(xué)生關(guān)鍵詞F uj的學(xué)習(xí)材料，計(jì)算這些學(xué)習(xí)材料的關(guān)鍵詞j在其各自的關(guān)鍵詞向量K中所對(duì)應(yīng)的權(quán)重之和。因此，式（4）通過利用學(xué)生閱讀內(nèi)容中，包含關(guān)鍵詞j的學(xué)習(xí)材料在其關(guān)鍵詞向量K中對(duì)應(yīng)權(quán)重的平均值，來表示學(xué)生關(guān)鍵詞F uj的權(quán)重值。

從學(xué)生S u的閱讀內(nèi)容C u中提取用于形式化表示學(xué)生的主題，構(gòu)建學(xué)生的主題分布向量G u=(G u1:μu1,G u2:μu2,…,G uK:μuK)。其中G uj、μuj分別表示學(xué)生S u的主題j及其對(duì)應(yīng)權(quán)重，μuj的計(jì)算見式（5）：

其中，νuij表示主題j在學(xué)生S u所閱讀學(xué)習(xí)材料L ui的主題分布向量P ui中的對(duì)應(yīng)權(quán)重。式（5）對(duì)應(yīng)的分式中，分母部分表示閱讀內(nèi)容C u中學(xué)習(xí)材料的總個(gè)數(shù)；分子部分表示提取閱讀內(nèi)容C u中的所有學(xué)習(xí)材料，計(jì)算這些學(xué)習(xí)材料的主題j在其各自的主題分布向量P中所對(duì)應(yīng)的權(quán)重之和。因此，式（5）通過利用學(xué)生閱讀內(nèi)容中學(xué)習(xí)材料的主題j在其主題分布向量P中所對(duì)應(yīng)權(quán)重的平均值，來表示學(xué)生主題G uj的權(quán)重值。值得注意的是，不同于學(xué)生關(guān)鍵詞權(quán)重σ的計(jì)算，由于LDA模型使得每個(gè)學(xué)習(xí)材料具備了相同的主題，因此學(xué)生S u的主題G uj包含于其所閱讀的每個(gè)學(xué)習(xí)材料的主題分布向量P中。

（3）相似度計(jì)算

使用余弦相似性公式計(jì)算形式化后學(xué)生與學(xué)習(xí)材料之間的相似度，則學(xué)生Su對(duì)學(xué)習(xí)材料L n的潛在認(rèn)知程度θun：

其中，λ為權(quán)重參數(shù)且λ∈[0，1]，用于控制學(xué)生關(guān)鍵詞向量F與主題分布向量G的比重；T表示所有學(xué)習(xí)材料去停用詞、分詞后總的關(guān)鍵詞個(gè)數(shù)（不重復(fù)詞語(yǔ)個(gè)數(shù)）；H表示LDA模型中設(shè)置的主題個(gè)數(shù)。

3.1.2 學(xué)習(xí)材料難度量化

直觀來看，學(xué)習(xí)材料所關(guān)聯(lián)知識(shí)點(diǎn)的個(gè)數(shù)可能會(huì)影響學(xué)習(xí)材料的難度。例如，學(xué)習(xí)材料L i關(guān)聯(lián)的知識(shí)點(diǎn)個(gè)數(shù)較多（假設(shè)與K1、K2、K3關(guān)聯(lián)），若學(xué)生Su想要完全掌握L i，那么可能需要同時(shí)掌握L i關(guān)聯(lián)的所有知識(shí)點(diǎn)，即掌握K1、K2、K3。對(duì)于關(guān)聯(lián)知識(shí)點(diǎn)個(gè)數(shù)較少的L j（假設(shè)僅與K1關(guān)聯(lián)），學(xué)生S u或許只需掌握知識(shí)點(diǎn)K1，就能完全掌握L j。與L i相比，學(xué)生S u在L j上所需掌握的知識(shí)點(diǎn)個(gè)數(shù)較少，因此L j較為簡(jiǎn)單，而Li相對(duì)較難。此外，閱讀某一學(xué)習(xí)材料的學(xué)生人數(shù)同樣可以反映出該學(xué)習(xí)材料的難度。例如，若Li較為簡(jiǎn)單，那么學(xué)生可能在閱讀Li上花費(fèi)更少的時(shí)間與精力，從而可以更加方便快捷地鞏固自身的知識(shí)狀態(tài)，這可能會(huì)吸引更多的學(xué)生對(duì)其進(jìn)行閱讀，使得閱讀L i的人數(shù)提升。反之，若Li較難，可能會(huì)導(dǎo)致閱讀人數(shù)減少。根據(jù)上述分析，提出一種關(guān)于學(xué)習(xí)材料難度的教育學(xué)假設(shè)：

假設(shè)1學(xué)習(xí)材料的難度隨著它所關(guān)聯(lián)知識(shí)點(diǎn)的個(gè)數(shù)正比增加，隨著閱讀它的學(xué)生數(shù)量反比下降。

此外，學(xué)習(xí)材料的難度不是一成不變的，它具有相對(duì)性，即學(xué)習(xí)材料相對(duì)于不同學(xué)生的難度是不同的。為此，利用學(xué)生的閱讀記錄C，結(jié)合提出的假設(shè)1，設(shè)計(jì)出一種關(guān)于學(xué)習(xí)材料難度的量化方法。

為了保證學(xué)習(xí)材料難度量化的相對(duì)性，構(gòu)建關(guān)聯(lián)矩陣CM（correlation matrix），用以反映學(xué)生閱讀的每個(gè)學(xué)習(xí)材料中所關(guān)聯(lián)的知識(shí)點(diǎn)個(gè)數(shù)。具體地，根據(jù)學(xué)生的閱讀記錄C，容易得到學(xué)生對(duì)每個(gè)學(xué)習(xí)材料的閱讀情況X=[x un]U×N。其中x un=1表示學(xué)生S u閱讀了學(xué)習(xí)材料L n，x un=0表示未閱讀。然后，利用學(xué)生對(duì)學(xué)習(xí)材料的閱讀情況X以及學(xué)習(xí)材料-知識(shí)點(diǎn)矩陣M構(gòu)建關(guān)聯(lián)矩陣CM，如式（9）、（10）所示：

其中，cmun表示學(xué)生S u閱讀的學(xué)習(xí)材料L n中所關(guān)聯(lián)的知識(shí)點(diǎn)個(gè)數(shù)；mni表示學(xué)習(xí)材料L n對(duì)知識(shí)點(diǎn)k i的關(guān)聯(lián)情況，關(guān)聯(lián)為1，否則為0。為了更好地說明，表3中給出了一個(gè)CM矩陣的簡(jiǎn)化例子。

表3 CM矩陣示例Table 3 Example of correlation matrix

由表3可知，cm11=3，表示學(xué)生S1閱讀了學(xué)習(xí)材料L1，且與L1相關(guān)聯(lián)知識(shí)點(diǎn)的個(gè)數(shù)為3。由于每個(gè)學(xué)習(xí)材料至少會(huì)與1個(gè)知識(shí)點(diǎn)相關(guān)聯(lián)，因此當(dāng)CM矩陣中的元素值為0時(shí)，表示學(xué)生沒有閱讀該學(xué)習(xí)材料。例如，cm13=0，表示學(xué)生S1未閱讀學(xué)習(xí)材料L3。此外，從表中還可以清晰地了解到學(xué)生S2閱讀了L3、L4，而未閱讀L1、L2。顯然，CM矩陣反映了學(xué)生閱讀的每個(gè)學(xué)習(xí)材料中關(guān)聯(lián)的知識(shí)點(diǎn)個(gè)數(shù)。

根據(jù)構(gòu)建的CM矩陣，可將學(xué)習(xí)材料L n相對(duì)于學(xué)生S u的難度b un定義為：

其中，δun表示學(xué)生S u閱讀的學(xué)習(xí)材料Ln中所關(guān)聯(lián)的知識(shí)點(diǎn)個(gè)數(shù)與其閱讀所有學(xué)習(xí)材料中關(guān)聯(lián)知識(shí)點(diǎn)個(gè)數(shù)的比值。I n表示學(xué)生總個(gè)數(shù)與閱讀過學(xué)習(xí)材料L n的學(xué)生個(gè)數(shù)的比值。xin表示學(xué)生Si對(duì)學(xué)習(xí)材料L n的閱讀情況，閱讀為1，否則為0。

式（11）中，學(xué)習(xí)材料難度b un的定義分為兩個(gè)方面。一方面，學(xué)生S u閱讀了學(xué)習(xí)材料L n，即xun=1。根據(jù)定義，若Ln中所包含知識(shí)點(diǎn)的個(gè)數(shù)較多時(shí)，則δun的值較高，使得L n的難度提升。同時(shí)，若L n被較多的學(xué)生閱讀，則φn的值較低，使得L n的難度下降。因此，此定義可以很好地?cái)M合提出的假設(shè)1。式（14）中，考慮到可能會(huì)出現(xiàn)某一學(xué)習(xí)材料沒有被學(xué)生閱讀，即從而導(dǎo)致分母為0的情況。為此，在分母中增加了常數(shù)項(xiàng)c，令其為1。此外，由于量化過程中利用了關(guān)聯(lián)矩陣CM（式（12）中），因此可以得到學(xué)習(xí)材料相對(duì)于不同學(xué)生的難度，體現(xiàn)了難度的相對(duì)性，這更符合實(shí)際情況。另一方面，學(xué)生S u未閱讀學(xué)習(xí)材料L n，即x un=0。此時(shí)利用學(xué)生S u對(duì)其閱讀過所有學(xué)習(xí)材料難度的平均值，統(tǒng)一表示其未閱讀學(xué)習(xí)材料的難度。

3.2 知識(shí)點(diǎn)掌握程度評(píng)估

本節(jié)將具體闡述學(xué)生知識(shí)點(diǎn)掌握程度的評(píng)估方法，即學(xué)生知識(shí)狀態(tài)建模。學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度可以很好地體現(xiàn)出學(xué)生當(dāng)前的知識(shí)水平，因此可用于建模學(xué)生的知識(shí)狀態(tài)。

從知識(shí)點(diǎn)的層面建模學(xué)生的知識(shí)狀態(tài)，可以較好地保證學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果的可解釋性。例如，學(xué)生是否因?yàn)閷?duì)某些知識(shí)點(diǎn)的掌握存在不足，導(dǎo)致其答錯(cuò)相應(yīng)試題。又或者說，由于學(xué)生對(duì)某些知識(shí)點(diǎn)的掌握較好，使得其作答正確相應(yīng)試題的概率較高。

通過上述分析，利用3.1節(jié)計(jì)算得到的學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度，從知識(shí)點(diǎn)層面建模學(xué)生的知識(shí)狀態(tài)。由于學(xué)習(xí)材料中通常關(guān)聯(lián)了特定的知識(shí)點(diǎn)，因此根據(jù)學(xué)習(xí)材料-知識(shí)點(diǎn)矩陣M，學(xué)生S u對(duì)知識(shí)點(diǎn)k d的掌握程度βud可被定義為：

其中，a ui表示學(xué)生S u對(duì)學(xué)習(xí)材料L i的實(shí)際掌握程度，mid表示學(xué)習(xí)材料Li對(duì)知識(shí)點(diǎn)k d的關(guān)聯(lián)情況，關(guān)聯(lián)為1，否則為0。式（15）所對(duì)應(yīng)的分式中，分母部分表示在學(xué)習(xí)材料集合L中，關(guān)聯(lián)知識(shí)點(diǎn)k d的學(xué)習(xí)材料的個(gè)數(shù)；分子部分表示提取學(xué)習(xí)材料集合L中所有關(guān)聯(lián)知識(shí)點(diǎn)k d的學(xué)習(xí)材料，計(jì)算學(xué)生對(duì)這些學(xué)習(xí)材料的實(shí)際掌握程度之和。因此，式（15）通過利用學(xué)生S u對(duì)所有關(guān)聯(lián)知識(shí)點(diǎn)k d的學(xué)習(xí)材料的實(shí)際掌握程度，來計(jì)算其對(duì)知識(shí)點(diǎn)k d的掌握程度，從而實(shí)現(xiàn)學(xué)生的學(xué)習(xí)材料實(shí)際掌握程度到知識(shí)點(diǎn)掌握程度的轉(zhuǎn)化。

3.3 試題掌握程度評(píng)估及得分預(yù)測(cè)

本節(jié)進(jìn)一步評(píng)估學(xué)生對(duì)試題的掌握程度，據(jù)此預(yù)測(cè)其試題得分。由于試題中關(guān)聯(lián)了待考察的知識(shí)點(diǎn)，因此根據(jù)學(xué)生的知識(shí)點(diǎn)掌握程度β與試題-知識(shí)點(diǎn)矩陣Q，利用幾何平均法可計(jì)算出學(xué)生S u對(duì)試題E v的掌握程度ηuv：

其中，βui表示學(xué)生S u對(duì)知識(shí)點(diǎn)k i的掌握程度，q vi表示試題E v對(duì)知識(shí)點(diǎn)k i的關(guān)聯(lián)情況，關(guān)聯(lián)為1，否則為0。式（16）通過計(jì)算學(xué)生S u對(duì)試題所關(guān)聯(lián)知識(shí)點(diǎn)掌握程度的幾何平均值，作為學(xué)生對(duì)特定試題的掌握程度，從而實(shí)現(xiàn)學(xué)生知識(shí)點(diǎn)掌握程度到試題掌握程度的轉(zhuǎn)化。

使用公式η=(η-ηmin)/(ηmax-ηmin)將計(jì)算得到的試題掌握程度η進(jìn)行歸一化處理，使其值處于[0，1]區(qū)間內(nèi)。然后，可以根據(jù)評(píng)估得到的試題掌握程度，預(yù)測(cè)學(xué)生在每道試題上的對(duì)錯(cuò)：

其中，Th R是提前設(shè)置的閾值，令其為0.5。

3.4 模型總結(jié)

相較于傳統(tǒng)的預(yù)測(cè)方法，ReadingCD能在兩個(gè)方面對(duì)學(xué)生表現(xiàn)預(yù)測(cè)任務(wù)進(jìn)行改進(jìn)。首先，ReadingCD將學(xué)生的知識(shí)狀態(tài)建模為學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度，計(jì)算值為0到1之間的連續(xù)值。而傳統(tǒng)方法要么將其建模為離散值，如認(rèn)知診斷中的DINA模型；要么建模為難以理解的潛在特征向量，如協(xié)同過濾中的矩陣分解。因此，ReadingCD能夠更為準(zhǔn)確地刻畫學(xué)生的知識(shí)狀態(tài)，為學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果的解釋提供有力依據(jù)。其次，由于ReadingCD建模知識(shí)狀態(tài)時(shí)利用了學(xué)生閱讀學(xué)習(xí)材料的內(nèi)容，而未利用學(xué)生在試題上的作答記錄，因此它可以預(yù)測(cè)無作答記錄的學(xué)生在試題上的表現(xiàn)，而傳統(tǒng)方法無法做到這一點(diǎn)。接下來的實(shí)驗(yàn)部分也證明了ReadingCD的改進(jìn)是有效的。

4 實(shí)驗(yàn)與分析

為了證明ReadingCD方法的效果，設(shè)計(jì)了實(shí)際數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)。首先，將ReadingCD與基準(zhǔn)方法在學(xué)生表現(xiàn)預(yù)測(cè)上進(jìn)行對(duì)比。其次，探索了參數(shù)變化對(duì)ReadingCD實(shí)驗(yàn)結(jié)果的影響。最后，通過一個(gè)學(xué)生閱讀認(rèn)知診斷的案例分析，評(píng)估預(yù)測(cè)結(jié)果的可解釋性。

4.1 數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)數(shù)據(jù)來自鄭州市第二中學(xué)的學(xué)生與移動(dòng)自主學(xué)堂系統(tǒng)[3-4]交互過程中所產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)。其中包括了學(xué)生在兩次期中物理測(cè)試中的客觀題作答記錄R，以及在這兩次考試之前對(duì)相關(guān)學(xué)習(xí)材料的閱讀記錄C。此外，還包括了每個(gè)學(xué)習(xí)材料的文本內(nèi)容以及由一線教師標(biāo)注的Q矩陣與M矩陣，以下將數(shù)據(jù)集記為Physics。表4匯總了Physics的具體信息，圖3展示了Q矩陣與M矩陣。

表4 Physics信息匯總Table 4 Descriptions of Physics

圖3 Q矩陣與M矩陣Fig.3 Q matrix and M matrix

本文從學(xué)生的物理課程中搜集實(shí)驗(yàn)數(shù)據(jù)，主要考慮了兩個(gè)方面的因素：（1）學(xué)生在物理課程上的學(xué)習(xí)行為數(shù)據(jù)較為完備。首先，學(xué)生在物理類型的試題、學(xué)習(xí)材料上具有相對(duì)完整、客觀的試題作答記錄與學(xué)習(xí)材料閱讀記錄。其次，物理類型的試題、知識(shí)點(diǎn)、學(xué)習(xí)材料之間的關(guān)聯(lián)關(guān)系清晰，便于提取用于實(shí)驗(yàn)。（2）相較于數(shù)學(xué)等科目而言，物理類型學(xué)習(xí)材料的文本內(nèi)容、語(yǔ)義信息更為豐富。由于ReadingCD涉及到文本信息（文本類學(xué)習(xí)材料）的處理，因此從物理課程中提取實(shí)驗(yàn)數(shù)據(jù)更為合適。

4.2 學(xué)生表現(xiàn)預(yù)測(cè)實(shí)驗(yàn)

使用基準(zhǔn)方法與ReadingCD的學(xué)生表現(xiàn)預(yù)測(cè)效果進(jìn)行對(duì)比。為了觀察各個(gè)方法在不同數(shù)據(jù)稀疏度情況下的實(shí)驗(yàn)效果，構(gòu)造了不同比例的數(shù)據(jù)集。具體地，隨機(jī)抽取試題總數(shù)的15/18、12/18、9/18、6/18作為訓(xùn)練集，其余的作為測(cè)試集，預(yù)測(cè)所有學(xué)生在測(cè)試集試題上的表現(xiàn)。特別地，由于ReadingCD通過利用閱讀學(xué)習(xí)材料內(nèi)容評(píng)估出學(xué)生的知識(shí)狀態(tài)，因此可以預(yù)測(cè)無作答記錄的學(xué)生在試題上的得分，即可以預(yù)測(cè)出學(xué)生在測(cè)試集試題比例為18/18情況下的試題表現(xiàn)。

在本實(shí)驗(yàn)中，采用了廣泛被應(yīng)用的根均方誤差（root mean squared error，RMSE）與平均絕對(duì)誤差（mean absolute error，MAE）作為評(píng)價(jià)指標(biāo)，如下式所示：

其中，表示預(yù)測(cè)的學(xué)生S u對(duì)試題E v的得分；r uv表示學(xué)生S u在試題E v上的實(shí)際得分。RMSE與MAE的值越小說明學(xué)生表現(xiàn)預(yù)測(cè)的效果越好。

本次對(duì)比實(shí)驗(yàn)中考慮如下基準(zhǔn)方法，表5中展示了這些方法的詳細(xì)特征。

表5 所有方法的特征Table 5 Features of all the methods

（1）DINA[9]。經(jīng)典的離散型認(rèn)知診斷模型，在給定Q矩陣的情況下，通過建模學(xué)生的知識(shí)狀態(tài)，結(jié)合試題參數(shù)（粗心與猜測(cè)）預(yù)測(cè)學(xué)生表現(xiàn)。

（2）IRT[15]。經(jīng)典的連續(xù)型認(rèn)知診斷模型，通過評(píng)估學(xué)生的潛在特征（對(duì)知識(shí)的綜合掌握情況）與試題參數(shù)（難度與區(qū)分度）來實(shí)現(xiàn)學(xué)生表現(xiàn)預(yù)測(cè)。

（3）kNN[11]。最近鄰方法，利用學(xué)生的作答記錄，使用余弦公式計(jì)算學(xué)生之間的相似度，尋找與目標(biāo)學(xué)生最相似的學(xué)生，利用其試題得分作為目標(biāo)學(xué)生得分。

（4）NMF[25]。非負(fù)矩陣分解，一種非負(fù)的潛在因子模型，產(chǎn)生的分解矩陣滿足非負(fù)性質(zhì)。

（5）Random。隨機(jī)預(yù)測(cè)學(xué)生的試題得分，1表示答對(duì)，0表示答錯(cuò)。

（6）ReadingCD_F。式（6）中，令λ=1，即量化學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ時(shí)，僅考慮學(xué)生的關(guān)鍵詞向量F。

（7）ReadingCD_G。式（6）中，令λ=0，即量化學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ時(shí)，僅考慮學(xué)生的主題分布向量G。

（8）ReadingCD_θ。式（1）、（2）中，計(jì)算學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度α?xí)r，僅考慮學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ，忽略學(xué)習(xí)材料的難度b。

在ReadingCD中，設(shè)置參數(shù)λ=0.1（式（6）中），主題個(gè)數(shù)H=8（式（8）中），以保證實(shí)驗(yàn)效果最好，其中各個(gè)參數(shù)的選擇將在4.3節(jié)詳細(xì)闡述。表6展示了不同方法在學(xué)生表現(xiàn)預(yù)測(cè)上的實(shí)驗(yàn)結(jié)果。其中，實(shí)現(xiàn)了一種低維度設(shè)置下的矩陣分解方法，即NMF-5D與NMF-10D，分別表示5個(gè)和10個(gè)潛在因子的非負(fù)矩陣分解方法。

表6 學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果Table 6 Results of student performance prediction

4.2.1 ReadingCD的實(shí)驗(yàn)效果

由表6可知，在不同的測(cè)試集試題比例中，Reading-CD的表現(xiàn)優(yōu)于所有基準(zhǔn)方法。具體來看，該方法利用學(xué)生閱讀學(xué)習(xí)材料的內(nèi)容來建模知識(shí)狀態(tài)，預(yù)測(cè)學(xué)生的試題得分，要優(yōu)于協(xié)同過濾中的最近鄰kNN與非負(fù)矩陣分解NMF方法。此外，ReadingCD建模的知識(shí)狀態(tài)為連續(xù)變量（學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度為0到1之間的連續(xù)值），而認(rèn)知診斷中的DINA模型將其建模為離散值（掌握為1，未掌握為0）；IRT模型未從知識(shí)點(diǎn)層面建模學(xué)生的知識(shí)狀態(tài)，僅使用一個(gè)潛在的連續(xù)型數(shù)值變量對(duì)其進(jìn)行表示。因此，相較于傳統(tǒng)的認(rèn)知診斷方法，ReadingCD更為準(zhǔn)確地刻畫了學(xué)生的知識(shí)狀態(tài)，從而可以進(jìn)一步提高預(yù)測(cè)結(jié)果的可解釋性，同時(shí)也保證了預(yù)測(cè)精度。

4.2.2 學(xué)習(xí)材料潛在認(rèn)知程度量化的實(shí)驗(yàn)效果

在不同的測(cè)試集試題比例中，ReadingCD的表現(xiàn)要優(yōu)于其變種方法ReadingCD_F與ReadingCD_G。這說明在式（6）～（8）中，結(jié)合學(xué)生的關(guān)鍵詞向量F與主題分布向量G量化學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ，預(yù)測(cè)學(xué)生表現(xiàn)，比僅使用兩者之一的效果好。因此，所提出的關(guān)于學(xué)習(xí)材料潛在認(rèn)知程度的量化方法是有效的，它可以應(yīng)用于學(xué)生知識(shí)狀態(tài)建模中，有助于預(yù)測(cè)學(xué)生的試題表現(xiàn)。

4.2.3 學(xué)習(xí)材料難度的量化效果

在不同的測(cè)試集試題比例中，ReadingCD的表現(xiàn)要優(yōu)于其變種方法ReadingCD_θ。這說明同時(shí)結(jié)合學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度θ以及學(xué)習(xí)材料的難度b，計(jì)算學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度α，可以得到更加精確的學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果。因此，本文根據(jù)提出的教育學(xué)假設(shè)（假設(shè)1），量化學(xué)習(xí)材料相對(duì)于不同學(xué)生的難度是有效的，它可以更為準(zhǔn)確地刻畫學(xué)生的知識(shí)狀態(tài)，使得預(yù)測(cè)結(jié)果的精確性進(jìn)一步提升。

4.2.4 ReadingCD在實(shí)際場(chǎng)景中的應(yīng)用分析

由于傳統(tǒng)的協(xié)同過濾與認(rèn)知診斷利用了學(xué)生的試題作答記錄，因此不能預(yù)測(cè)無作答記錄的學(xué)生在試題上的表現(xiàn)，即在測(cè)試集試題比例為18/18的情況下，無法通過基準(zhǔn)方法得到學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果。相較而言，Reading-CD不需要試題的作答記錄，僅通過學(xué)生閱讀學(xué)習(xí)材料的內(nèi)容，就可以建模出學(xué)生的知識(shí)狀態(tài)，進(jìn)而預(yù)測(cè)出學(xué)生在無作答記錄情況下的試題得分，因而可以應(yīng)用到一些無法預(yù)先獲取學(xué)生試題作答記錄來診斷學(xué)生知識(shí)狀態(tài)的場(chǎng)景中。例如，在測(cè)試開始之前，ReadingCD可以通過學(xué)生閱讀的某些輔助性學(xué)習(xí)材料的內(nèi)容，診斷出學(xué)生的知識(shí)狀態(tài)。根據(jù)診斷結(jié)果，可以發(fā)現(xiàn)學(xué)生某些掌握較弱（掌握程度較低）的知識(shí)點(diǎn)，據(jù)此進(jìn)行針對(duì)性的教學(xué)訓(xùn)練，以提高學(xué)生在后續(xù)測(cè)試中試題的作答表現(xiàn)。此外，當(dāng)測(cè)試集試題比例為18/18時(shí)，ReadingCD的實(shí)驗(yàn)效果優(yōu)于隨機(jī)預(yù)測(cè)方法Random及其他變種方法。因此，本文方法一定程度上緩解了目前方法在某些實(shí)際場(chǎng)景應(yīng)用中的局限性。

4.3 ReadingCD的參數(shù)設(shè)置

式（6）中，參數(shù)λ用于調(diào)整學(xué)習(xí)材料潛在認(rèn)知程度θ的權(quán)重，λ∈[0，1]。λ越大（越?。┍硎睛鹊娜≈翟揭蕾囉趯W(xué)生的關(guān)鍵詞向量F（主題分布向量G）。此外，式（8）中，LDA模型設(shè)置的主題個(gè)數(shù)K的不同，會(huì)導(dǎo)致學(xué)生的主題分布向量G發(fā)生變化，進(jìn)而對(duì)潛在認(rèn)知程度θ的量化有所影響。由于本文將θ作為學(xué)生知識(shí)狀態(tài)建模的一部分，因此參數(shù)λ與主題個(gè)數(shù)K的變化會(huì)影響建模結(jié)果，使得ReadingCD的學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果發(fā)生變化。

以學(xué)生在所有試題上的表現(xiàn)預(yù)測(cè)為例，固定主題個(gè)數(shù)K，設(shè)置不同的參數(shù)λ，觀察ReadingCD在MAE指標(biāo)下的變化情況，如圖4所示。

圖4 參數(shù)對(duì)MAE指標(biāo)的影響Fig.4 Effects of parameters on MAE

由圖4可知，當(dāng)參數(shù)λ取值在0.1附近，主題個(gè)數(shù)K取值在8附近時(shí)，ReadingCD的MAE值最低，此時(shí)實(shí)驗(yàn)效果最好。因此，最終參數(shù)設(shè)置為λ=0.1,K=8。當(dāng)λ=0.1時(shí)，意味著學(xué)生的關(guān)鍵詞向量F在學(xué)習(xí)材料潛在認(rèn)知程度θ的量化中所占比重較低，而主題分布向量G占了較高的比重。這表明學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度更依賴于學(xué)生的主題分布，從而也驗(yàn)證了量化時(shí)所提出的設(shè)想是合理的，即學(xué)生可能會(huì)對(duì)與其閱讀內(nèi)容相關(guān)的學(xué)習(xí)材料具備較高的潛在認(rèn)知水平。

4.4 閱讀認(rèn)知診斷案例分析

為了驗(yàn)證預(yù)測(cè)結(jié)果的可解釋性，對(duì)比展示了Reading-CD和DINA模型在數(shù)據(jù)集Physics中一個(gè)學(xué)生的知識(shí)狀態(tài)建模結(jié)果，如圖5所示。

圖5 學(xué)生在某些知識(shí)點(diǎn)上的診斷結(jié)果Fig.5 Diagnosis results of student in some knowledge points

由圖5可知，在給定試題-知識(shí)點(diǎn)矩陣Q與學(xué)習(xí)材料-知識(shí)點(diǎn)矩陣M的情況下，無論是DINA模型還是ReadingCD都可以得到可解釋且?guī)в芯唧w含義的知識(shí)點(diǎn)診斷結(jié)果。然而，DINA模型只能指明學(xué)生是否掌握了相應(yīng)知識(shí)點(diǎn)（掌握為1，未掌握為0），而ReadingCD可以具體診斷出學(xué)生在每一個(gè)知識(shí)點(diǎn)上的掌握程度（診斷結(jié)果為連續(xù)變量）。因此，通過ReadingCD的診斷結(jié)果，學(xué)生能夠更為清晰地看到自身在某些知識(shí)點(diǎn)掌握上的優(yōu)勢(shì)與不足，使得在學(xué)生表現(xiàn)預(yù)測(cè)結(jié)果上具備更強(qiáng)的解釋性。此外，教育專家或在線教育系統(tǒng)可以進(jìn)一步針對(duì)具體的診斷結(jié)果，改進(jìn)并提升當(dāng)前的教學(xué)計(jì)劃，或?yàn)閷W(xué)生提供個(gè)性化的試題推薦。相較而言，認(rèn)知診斷中的項(xiàng)目反應(yīng)理論以及協(xié)同過濾中的最近鄰、矩陣分解方法，由于使用了潛在變量來描述學(xué)生的知識(shí)狀態(tài)，因此難以給出可解釋的預(yù)測(cè)結(jié)果。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種基于閱讀認(rèn)知診斷的知識(shí)狀態(tài)建模方法ReadingCD，預(yù)測(cè)學(xué)生的試題得分。具體地，首先利用學(xué)生的閱讀內(nèi)容，量化出學(xué)生對(duì)學(xué)習(xí)材料的潛在認(rèn)知程度。其次結(jié)合提出的教育學(xué)假設(shè)，量化出學(xué)習(xí)材料的難度。然后，利用兩個(gè)量化結(jié)果，計(jì)算出學(xué)生對(duì)學(xué)習(xí)材料的實(shí)際掌握程度，據(jù)此建模學(xué)生的知識(shí)狀態(tài)并預(yù)測(cè)學(xué)生的試題得分。最后，通過實(shí)驗(yàn)證明了ReadingCD可以提高預(yù)測(cè)結(jié)果的準(zhǔn)確性與可解釋性。同時(shí)，一定程度上緩解了學(xué)生表現(xiàn)預(yù)測(cè)在實(shí)際應(yīng)用中的局限性。另一方面，該方法仍有改進(jìn)的空間。首先，由于ReadingCD利用了學(xué)生的閱讀內(nèi)容建模其知識(shí)狀態(tài)，因此，若學(xué)生閱讀的學(xué)習(xí)材料較少或沒有進(jìn)行閱讀，將會(huì)影響建模效果。其次，本文只預(yù)測(cè)了學(xué)生在客觀試題上的表現(xiàn)，還有其他一些試題類型應(yīng)考慮在內(nèi)，例如主觀試題。以上存在問題是未來的研究方向。