基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦方法

李 全，劉興紅，許新華，林 松

(湖北師范大學(xué) 教育信息與技術(shù)學(xué)院，湖北 黃石 435002)

0 引言

隨著網(wǎng)絡(luò)技術(shù)和教育信息化的不斷發(fā)展，人們的學(xué)習(xí)不再受時(shí)間和空間的限制。智能教育和在線教育能夠便捷地為學(xué)生提供試題練習(xí)，幫助學(xué)生鞏固學(xué)習(xí)知識(shí)，但是隨著試題資源數(shù)量爆炸式的增長(zhǎng)，學(xué)生很難在海量的試題資源中找到合適的試題，因此，在智能教育系統(tǒng)中，如何為學(xué)生推薦符合其學(xué)習(xí)特征的試題是一個(gè)重要的問(wèn)題[1]。

目前，研究者將推薦系統(tǒng)的相關(guān)技術(shù)應(yīng)用到試題推薦中，并開(kāi)展了初步的研究工作?，F(xiàn)有的試題推薦方法一般可以分為3類：基于內(nèi)容的推薦方法[2]、基于協(xié)同過(guò)濾推薦方法[3-5]和混合推薦方法[6]。在這些推薦方法中，基于協(xié)同過(guò)濾的推薦是應(yīng)用最廣泛的推薦方法。該方法主要包括基于鄰域協(xié)同過(guò)濾和基于模型協(xié)同過(guò)濾。基于鄰域協(xié)同過(guò)濾又可以分為基于用戶(User-based)協(xié)同過(guò)濾和基于項(xiàng)目(Item-based)協(xié)同過(guò)濾，但它們通常面臨著冷啟動(dòng)、數(shù)據(jù)稀疏、算法可擴(kuò)展性差等問(wèn)題[7]。為了進(jìn)一步解決數(shù)據(jù)稀疏性和冷啟動(dòng)等問(wèn)題，一些現(xiàn)代推薦系統(tǒng)采用基于模型協(xié)同過(guò)濾的推薦方法中矩陣分解技術(shù)進(jìn)行推薦。矩陣分解技術(shù)包括奇異值分解(Singular Value Decomposition, SVD)[8]、非負(fù)矩陣分解(Non-negative Matrix Factorization, NMF)[9]和概率矩陣分解(Probabilistic Matrix Factorization, PMF)[10]等，其中以概率矩陣分解應(yīng)用最為廣泛。它可以將一個(gè)高維的學(xué)生-試題得分矩陣分解為兩個(gè)學(xué)生和試題的低維矩陣，然后利用兩個(gè)低維矩陣的乘積來(lái)預(yù)測(cè)學(xué)生在試題上的得分，最后根據(jù)預(yù)測(cè)的得分進(jìn)行試題推薦，但該方法只能結(jié)合學(xué)生和試題兩方面的信息進(jìn)行兩維分解,而沒(méi)有考慮學(xué)生的知識(shí)點(diǎn)掌握信息，因此，在應(yīng)用到試題推薦時(shí),可能導(dǎo)致試題推薦結(jié)果不合理、不可靠和缺少解釋性等問(wèn)題[11]。為了進(jìn)一步提高試題推薦方法的性能，針對(duì)以上問(wèn)題，本文提出了一種基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦方法。首先，通過(guò)認(rèn)知診斷模型對(duì)學(xué)生進(jìn)行建模，得到學(xué)生的知識(shí)點(diǎn)掌握信息；接著，將試題-知識(shí)點(diǎn)信息和學(xué)生-知識(shí)點(diǎn)信息融入到基于學(xué)生試題得分概率矩陣分解方法中，實(shí)現(xiàn)聯(lián)合概率矩陣分解，得到用戶特征矩陣和試題特征矩陣。然后，根據(jù)用戶特征矩陣和試題特征矩陣計(jì)算學(xué)生對(duì)試題的預(yù)測(cè)得分；最后，把相應(yīng)難度范圍的試題推薦給學(xué)生。該方法保證了試題推薦結(jié)果的可解釋性和合理性。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在不同難度的試題推薦準(zhǔn)確率上要優(yōu)于傳統(tǒng)的協(xié)同過(guò)濾算法和已有的矩陣分解算法。

1 相關(guān)工作

近年來(lái)，有學(xué)者將傳統(tǒng)的推薦技術(shù)應(yīng)用到智能教育和在線教育的相關(guān)研究中。而在這些推薦方法中，基于協(xié)同過(guò)濾的推薦是應(yīng)用最廣泛的推薦方法。該方法主要包括基于鄰域協(xié)同過(guò)濾和基于模型協(xié)同過(guò)濾?；卩徲騾f(xié)同過(guò)濾算法通過(guò)分析和目標(biāo)學(xué)生的相似學(xué)生來(lái)對(duì)目標(biāo)學(xué)生進(jìn)行推薦。文獻(xiàn)[12]針對(duì)大學(xué)體育課程教育和教學(xué)問(wèn)答應(yīng)用，從功能、處理方法等角度設(shè)計(jì)推薦系統(tǒng)架構(gòu)；但在推薦方法上，并未考慮數(shù)據(jù)稀疏性對(duì)推薦方法的影響。文獻(xiàn)[13]引入數(shù)據(jù)挖掘技術(shù)，挖掘歷史行為記錄中的潛在規(guī)則，為學(xué)習(xí)者提供個(gè)性化學(xué)習(xí)指導(dǎo)；但挖掘出的規(guī)則局限于已有數(shù)據(jù)，在數(shù)據(jù)稀疏情況下，對(duì)于新的資源，由于缺乏行為數(shù)據(jù)而不能推薦給用戶。文獻(xiàn)[14]提出了一種在線學(xué)習(xí)背景下基于模糊樹(shù)匹配用戶學(xué)習(xí)材料個(gè)性化推薦方法。文獻(xiàn)[15]提出了一種融合不同學(xué)生的學(xué)習(xí)興趣并向同一組學(xué)生進(jìn)行個(gè)性化學(xué)習(xí)材料推薦的方法；但在預(yù)測(cè)學(xué)生表現(xiàn)時(shí)，會(huì)丟失學(xué)生自身的一些學(xué)習(xí)特征。因此，基于鄰域協(xié)同過(guò)濾推薦算法通常在網(wǎng)絡(luò)教育應(yīng)用中存在一定的局限性。

目前，基于模型協(xié)同過(guò)濾的推薦方法中矩陣分解算法逐漸成為了教育應(yīng)用中最為廣泛的算法，因?yàn)榫仃嚪纸馑惴ū葌鹘y(tǒng)的推薦技術(shù)具有更好的推薦精度[16]。它通過(guò)構(gòu)造學(xué)生和試題的低維矩陣，然后利用兩個(gè)低維矩陣的乘積來(lái)預(yù)測(cè)學(xué)生在試題上的得分，最后根據(jù)預(yù)測(cè)的得分進(jìn)行試題推薦；但是該方法只能結(jié)合學(xué)生和試題兩方面的信息進(jìn)行兩維分解，并且該方法在應(yīng)用到試題推薦時(shí)忽略了學(xué)生試題相關(guān)的知識(shí)點(diǎn)信息，使系統(tǒng)無(wú)法向?qū)W生解釋推薦某一試題的原因；此外通過(guò)該方法向?qū)W生推薦的試題可能對(duì)學(xué)生并沒(méi)有幫助。因此，如何結(jié)合學(xué)生自身的特性和相似學(xué)生的做題情況提高試題推薦合理性和可靠性成為了一個(gè)重要的研究問(wèn)題。

在認(rèn)知心理學(xué)中，認(rèn)知診斷模型可以較好地從知識(shí)點(diǎn)層面對(duì)學(xué)生的認(rèn)知狀態(tài)進(jìn)行建模[17]?，F(xiàn)有的認(rèn)知診斷模型包括連續(xù)型和離散型。其中，項(xiàng)目反應(yīng)理論(Item Response Theory, IRT)是一種典型的連續(xù)型認(rèn)知診斷模型。它根據(jù)學(xué)生答題情況，通過(guò)對(duì)試題和學(xué)生進(jìn)行聯(lián)合建模，來(lái)推出試題參數(shù)及學(xué)生潛在能力[18]。DINA模型(Deterministic Inputs，Noisy “And” gate model)是一種典型的離散型認(rèn)知診斷模型。該模型將學(xué)生描述成一個(gè)多維的知識(shí)點(diǎn)掌握向量，從學(xué)生實(shí)際作答結(jié)果入手進(jìn)行診斷[19]。由于DINA模型簡(jiǎn)單，參數(shù)的可解釋性較好，且DINA模型的復(fù)雜性不受屬性個(gè)數(shù)的影響[20]，因此本文選擇DINA模型作為認(rèn)知診斷模型對(duì)學(xué)生進(jìn)行建模，得到學(xué)生的知識(shí)點(diǎn)掌握信息，并將其融入到學(xué)生試題概率矩陣分解方法中，從而提出了一種基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦方法。

2 基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦

2.1 問(wèn)題的形式化定義

為了便于形式化描述，本文的符號(hào)標(biāo)記如表1所示。

表1 符號(hào)表Tab. 1 Notations

已知學(xué)生集合US={u1,u2,…,um}，試題集合TS={t1,t2,…,tn}，知識(shí)點(diǎn)集合BS={b1,b2,…,bl}，學(xué)生試題得分矩陣R=[rij]m×n表示m個(gè)學(xué)生做n道試題，其中，rij=1表示學(xué)生ui答對(duì)試題tj；rij=0表示學(xué)生ui答錯(cuò)試題tj。試題知識(shí)點(diǎn)矩陣Q=[qjk]n×l表示n道試題和l個(gè)知識(shí)點(diǎn)相關(guān)聯(lián)，其中，qjk=1表示試題tj考查知識(shí)點(diǎn)bk；qjk=0表示試題tj未考查知識(shí)點(diǎn)bk。

2.2 QueRec方法整體框架

本文提出的基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦方法(QueRec)的整體框架如圖1所示。

圖1 QueRec整體框架 Fig. 1 Whole framework of QueRec

從圖1中可以看出，該推薦方法主要步驟如下：

1)輸入學(xué)生做題的學(xué)生-試題得分矩陣和由領(lǐng)域?qū)＜覙?biāo)注的試題-知識(shí)點(diǎn)關(guān)聯(lián)矩陣。

2)使用DINA模型對(duì)學(xué)生進(jìn)行建模，獲取學(xué)生-知識(shí)點(diǎn)掌握信息矩陣。

3)將試題-知識(shí)點(diǎn)矩陣和學(xué)生-知識(shí)點(diǎn)矩陣融入到基于學(xué)生試題得分概率矩陣分解方法中，實(shí)現(xiàn)聯(lián)合概率矩陣分解，得到用戶特征矩陣和試題特征矩陣。

4)根據(jù)用戶特征矩陣和試題特征矩陣計(jì)算得到學(xué)生的預(yù)測(cè)得分，并將預(yù)測(cè)得分歸一化到[0,1]范圍。

5)設(shè)置待推薦試題的難度范圍[λ1,λ2],根據(jù)學(xué)生預(yù)測(cè)得分情況，把相應(yīng)難度范圍內(nèi)的試題推薦給學(xué)生。

2.3 構(gòu)造學(xué)生-知識(shí)點(diǎn)矩陣

為了得到學(xué)生的個(gè)性化狀態(tài)，采用DINA模型獲取學(xué)生知識(shí)點(diǎn)掌握信息A=[aik]m×l。DINA模型通過(guò)學(xué)生試題矩陣R和試題知識(shí)點(diǎn)矩陣Q對(duì)學(xué)生進(jìn)行建模，即對(duì)每一個(gè)學(xué)生ui都可以得到一個(gè)知識(shí)點(diǎn)掌握向量αi={ai1,ai2,…,ail}，其中aik=1表示學(xué)生ui掌握知識(shí)點(diǎn)bk，aik=0表示學(xué)生ui沒(méi)有掌握知識(shí)點(diǎn)bk。所有學(xué)生的知識(shí)點(diǎn)掌握向量α={α1,α2,…,αm}。

學(xué)生的潛在作答情況如式(1)所示：

(1)

ηij=1表示學(xué)生ui掌握了試題tj考核的所有知識(shí)點(diǎn);ηij=0表示學(xué)生ui沒(méi)有掌握試題tj考核的所有知識(shí)點(diǎn)。此外，為了在真實(shí)狀態(tài)下表示學(xué)生答題情況，DINA模型還引入了失誤率和猜測(cè)率。失誤率表示學(xué)生掌握了試題考查的所有知識(shí)點(diǎn)，存在因?yàn)榇中膶?dǎo)致答題錯(cuò)誤，如式(2)所示：

sj=p(rij=0|ηij=1)

(2)

猜測(cè)率表示學(xué)生沒(méi)有掌握試題考查的所有知識(shí)點(diǎn)，處在一定的概率因?yàn)椴聹y(cè)導(dǎo)致答題正確，如式(3)所示：

gj=p(rij=1|ηij=0)

(3)

因此學(xué)生ui在試題tj上正確作答的概率如式(4)所示：

(4)

(5)

2.4 聯(lián)合概率矩陣分解圖模型

本文提出的基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦的圖模型如圖2所示。

圖2 聯(lián)合概率矩陣分解圖模型 Fig. 2 Graph model of unified probalilistic matrix factorization

聯(lián)合概率矩陣分解圖模型基于以下假設(shè)：

1)假設(shè)Ui、Tj、Bk的先驗(yàn)概率服從高斯分布且相互獨(dú)立，即：

(6)

(7)

(8)

其中:N(x|μ,σ2)表示均值為μ，方差為σ2的正態(tài)分布的概率密度函數(shù)，I為單位矩陣。

(9)

(10)

(11)

學(xué)生在試題上的得分受學(xué)生在試題所關(guān)聯(lián)知識(shí)點(diǎn)上的掌握程度的影響，所以該算法將學(xué)生試題關(guān)系矩陣的分解、試題知識(shí)點(diǎn)關(guān)系矩陣分解和學(xué)生知識(shí)點(diǎn)關(guān)系矩陣的分解整合起來(lái)，通過(guò)學(xué)生特征矩陣和試題特征矩陣進(jìn)行連接。由如圖2可以推到出U、T和B的后驗(yàn)概率分布函數(shù)。后驗(yàn)分布函數(shù)的對(duì)數(shù)函數(shù)滿足式(12)：

(12)

其中：d表示特征向量的維數(shù)，C是常量。最大化式(12)可視為無(wú)約束優(yōu)化問(wèn)題，最小化式(13)等價(jià)于最大化式(12):

(13)

(14)

(15)

(16)

2.5 時(shí)間復(fù)雜度分析

2.6 試題推薦

(17)

(18)

該公式表示：如果學(xué)生的預(yù)測(cè)得分越高，則待推薦試題的難度系數(shù)越低；如果學(xué)生的預(yù)測(cè)得分越低，則待推薦試題的難度系數(shù)越高。在進(jìn)行試題推薦時(shí)，先要設(shè)定推薦試題的難度范圍λ1和λ2(0<λ1<λ2<1)作為試題推薦難度的邊界。QueRec方法可以根據(jù)待推薦試題的難度系數(shù)為學(xué)生推薦相應(yīng)難度范圍內(nèi)的試題，保證了試題推薦結(jié)果的可解釋性和合理性。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所用的實(shí)驗(yàn)數(shù)據(jù)來(lái)自于某市高校學(xué)生數(shù)據(jù)庫(kù)考試的真實(shí)數(shù)據(jù)，考試的數(shù)據(jù)真實(shí)反映了學(xué)生對(duì)試題的掌握程度。原始數(shù)據(jù)集包括203個(gè)學(xué)生，46道試題，18個(gè)知識(shí)點(diǎn)，8 243個(gè)學(xué)生試題得分信息，763個(gè)試題與知識(shí)點(diǎn)關(guān)聯(lián)信息。

3.2 評(píng)價(jià)指標(biāo)

本文選用推薦系統(tǒng)領(lǐng)域常用F1值作為評(píng)價(jià)指標(biāo)。F1值綜合了信息檢索領(lǐng)域中的準(zhǔn)確率(Precision)和召回率(Recall)。F1值越高，表明推薦算法的準(zhǔn)確率越高。具體F1值、準(zhǔn)確率和召回率的定義如式(19)所示:

(19)

其中：Precison表示推薦的試題中真正符合學(xué)生興趣的試題所占的比例，Recall表示推薦的試題中符合學(xué)生興趣的占測(cè)試集中所有試題的比例，X表示推薦的結(jié)果集，Y表示測(cè)試集。

3.3 方法比較

為了驗(yàn)證QueRec方法的預(yù)測(cè)準(zhǔn)確率，將其與基于用戶(User-Based)協(xié)同過(guò)濾方法、基于項(xiàng)目(Item-Based)協(xié)同過(guò)濾方法和基于概率矩陣分解(PMF)方法進(jìn)行比較。在實(shí)驗(yàn)過(guò)程中，從數(shù)據(jù)集中分別抽取90%、70%、50%和30%作為訓(xùn)練數(shù)據(jù)，在數(shù)據(jù)稀疏程度不同時(shí)，比較算法的效果。90%的訓(xùn)練數(shù)據(jù)表示從數(shù)據(jù)集中隨機(jī)抽取90%的數(shù)據(jù)來(lái)預(yù)測(cè)剩下的10%的數(shù)據(jù)。同時(shí)，為了降低算法的復(fù)雜度，通過(guò)反復(fù)實(shí)驗(yàn)測(cè)試，在QueRec方法中，將θU、θT、θB均設(shè)置為0.001，θA設(shè)置為0.5，θQ設(shè)置為1，潛在特征向量維數(shù)為10，該方法效果最好。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 不同難度試題推薦對(duì)比實(shí)驗(yàn)

在比較不同難度試題推薦效果實(shí)驗(yàn)中，根據(jù)難度范圍，將待推薦試題分為簡(jiǎn)單試題和困難試題兩類，其中難度范圍λ∈[0,0.6]的待推薦試題為簡(jiǎn)單試題，即學(xué)生的預(yù)測(cè)得分較高的試題；難度范圍λ∈(0.6,1]的待推薦試題為困難試題，即學(xué)生的預(yù)測(cè)得分較低的試題。在實(shí)驗(yàn)中分別向?qū)W生推薦6道簡(jiǎn)單試題和6道困難試題，將QueRec與其他3種方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同難度試題預(yù)測(cè)效果的F1值Tab. 2 F1 value of prediction effect of different difficulty test questions

利用不同稀疏程度的訓(xùn)練集對(duì)以上算法進(jìn)行實(shí)驗(yàn)，由表2可知，隨著訓(xùn)練集的增大，QueRec方法在簡(jiǎn)單試題和困難試題的推薦準(zhǔn)確率上比其他的3種算法高。在推薦簡(jiǎn)單試題時(shí)F1值比其他3種算法提高了4.2%～6.8%。在推薦困難試題時(shí)F1值比其他3種算法提高了5.6%～8.3%。

3.4.2 參數(shù)θA和θQ對(duì)方法的影響

參數(shù)θA決定了學(xué)生-知識(shí)點(diǎn)矩陣對(duì)算法效果的影響，參數(shù)θQ決定了試題-知識(shí)點(diǎn)矩陣對(duì)算法效果的影響。當(dāng)θA和θQ都設(shè)置為0時(shí)，試題推薦方法不考慮學(xué)生與知識(shí)點(diǎn)之間以及試題與知識(shí)點(diǎn)之間的相互關(guān)系，只考慮學(xué)生和試題的得分矩陣。當(dāng)θA和θQ越大，學(xué)生與知識(shí)點(diǎn)之間以及試題與知識(shí)點(diǎn)之間的相互關(guān)系對(duì)算法的作用越大。當(dāng)測(cè)試θA對(duì)算法的影響時(shí)，將θU、θT、θB分別設(shè)置為0.001，θQ設(shè)置為1，具體結(jié)果如圖5和圖6所示。當(dāng)測(cè)試θQ對(duì)算法的影響時(shí)，將θU、θT、θB分別設(shè)置為0.001，θA設(shè)置為0.5，具體結(jié)果如圖3～6所示。

圖3 簡(jiǎn)單試題推薦時(shí)參數(shù)θA對(duì)F1值的影響 Fig. 3 Impact of θA on F1 (simple question recommendation)

圖4 困難試題推薦時(shí)參數(shù)θA對(duì)F1值的影響 Fig. 4 Impact of θA on F1 (difficult question recommendation)

圖5 簡(jiǎn)單試題推薦時(shí)參數(shù)θQ對(duì)F1值的影響 Fig. 5 Impact of θQ on F1 (simple question recommendation)

圖6 困難試題推薦時(shí)參數(shù)θQ對(duì)F1值的影響 Fig. 6 Impact of θQ on F1 (difficult question recommendation)

由圖3～6可以得出以下結(jié)論：參數(shù)θA和θQ的值對(duì)算法推薦準(zhǔn)確率的影響是比較大的。通過(guò)進(jìn)一步觀察發(fā)現(xiàn)，隨著參數(shù)θA或者θQ的增加，算法的F1值先增加；當(dāng)θA=0.5或者θQ=1時(shí)，F(xiàn)1值取得最大值；但當(dāng)θA超過(guò)0.5或者θQ超過(guò)1時(shí)，F(xiàn)1值逐漸降低，QueRec方法的推薦效果開(kāi)始下降。主要原因是由于θA或者θQ過(guò)大時(shí)，引起了QueRec方法的過(guò)擬合，導(dǎo)致推薦準(zhǔn)確率的下降。

4 結(jié)語(yǔ)

本文對(duì)智能教育和在線教育中的試題推薦方法進(jìn)行了研究。本文在概率矩陣分解方法的基礎(chǔ)上，通過(guò)認(rèn)知診斷模型對(duì)學(xué)生進(jìn)行建模，將試題-知識(shí)點(diǎn)信息和學(xué)生-知識(shí)點(diǎn)信息融入到基于學(xué)生試題得分概率矩陣分解方法中，提出了一種基于聯(lián)合概率矩陣分解的個(gè)性化試題推薦方法。實(shí)驗(yàn)結(jié)果表明，與其他傳統(tǒng)推薦方法相比，本文所提方法在不同難度范圍的試題推薦上均取得了較好的推薦結(jié)果；另外，通過(guò)對(duì)算法時(shí)間復(fù)雜度的分析，表明該方法可以應(yīng)用于大規(guī)模數(shù)據(jù)集。在下一步的研究工作中，將更加深入地研究認(rèn)知診斷模型對(duì)試題推薦方法的影響，以期進(jìn)一步提高該推薦算法的精度和性能。

參考文獻(xiàn)(References)

[1] VESIN B, IVANOVIC M, BUDIMAC Z, et al. E-learning personalization based on hybrid recommendation strategy and learning style identification [J]. Computers and Education, 2011, 56(3): 885-899.

[2] ZHAO W, WU R, LIU H. Paper recommendation based on the knowledge gap between a researcher’s background knowledge and research target [J]. Information Processing and Management, 2016, 52(5): 976-988.

[3] BOGERS T, van den BOSCH A. Recommending scientific articles using citeulike [C]// Proceedings of the 2008 ACM Conference on Recommender Systems. New York: ACM, 2008: 287-290.

[4] TIAN G, JING L. Recommending scientific articles using birelational graph-based iterative RWR [C]// Proceedings of the 2013 7th ACM Conference on Recommender Systems. New York: ACM, 2013: 399-402.

[5] LAI C H, LIU D R, LIN C S. Novel personal and group-based trust models in collaborative filtering for document recommendation [J]. Information Sciences, 2013, 239(8): 31-49.

[6] SUN J, MA J, LIU Z, et al. Leveraging content and connection for scientific article recommendation in social computing contexts [J]. The Computer Journal, 2014, 57(9): 1331-1342.

[7] CREMONESI P, TURRIN R. Analysis of cold-start recommendations in IPTV system [C]// Proceedings of the 2009 3rd ACM Conference on Recommender Systems. New York: ACM, 2009: 233-236.

[8] GOLUB G, KAHAN K. Calculating the singular values and pseudo-inverse of a matrix [J]. Journal of the Society for Industrial and Applied Mathematics, 1965,2(2): 205-224.

[9] LEE D D, SEUNG H S. Algorithms for non-negative matrix factorization [C]// Proceedings of the 2001 13th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2001: 535-541.

[10] SALAKHUTDINOV R, MNIH A. Probabilistic matrix factorization[C]// Proceedings of the 2007 20th International Conference on Neural Information Processing Systems. Vancouver, British Columbia: Curran Associates Inc., 2007: 1257-1264.

[11] KOREN Y, BELL R, VOLINSKY C. Matirx factorization for recommender systems [J]. IEEE Computer, 2009, 42(8): 30-37.

[12] SOUALI K, AFIA A E, FAIZI R, et al. A new recommender system for e-learning environments [C]// Proceedings of the 2011 International Conference on Multimedia Computing and System. Piscataway: IEEE, 2011: 1-4.

[13] 張海東,倪晚成,趙美靜,等.面向基礎(chǔ)教育階段的教學(xué)資源推薦系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2014,34(11):3353-3356.(ZHANG H D, NI W C, ZHAO M J, et al. Teaching resources recommendation system for K12 education [J]. Journal of Computer Applications, 2014, 34(11): 3353-3356.)

[14] WU D, ZHANG G, LIU J. A fuzzy tree matching-based personalised e-learning recommender system [J]. IEEE Transactions on Fuzzy Systems, 2015, 23(6): 2412-2426.

[15] DWIVEDI P, BHARADWAJ K K. E-learning recommender system for a group of learners based on the unified learner profile approach [J]. Expert Systems, 2015, 32(2): 264-276.

[16] XU W, CAO J, HU L, et al. A social-aware service recommendation approach for mashup creation [C]// Proceedings of the 2013 IEEE 20th Internationnal Conference on Web Services. Washington, DC: IEEE Computer Society, 2013: 107-114.

[17] TAMHANE A, IKBAL S, SENGUPTA B, et al. Predicting student risks through longitudinal analysis [C]// Proceedings of the 2014 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York: ACM, 2014: 1544-1552.

[18] 康春花,孫小堅(jiān),顧士偉,等.多水平多維IRT模型在學(xué)業(yè)質(zhì)量監(jiān)測(cè)中的應(yīng)用[J].江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,40(2):133-139.(KANG C H, SUN X J, GU S W, et al. The application of multilevel multidemensional IRT model in academic quality monitoring test [J]. Journal of Jiangxi Normal University (Nature Science Edition), 2016, 40(2): 133-139.)

[19] OZAKI K. DINA models for multiple-choice items with few parameters:considering incorrect answers [J]. Applied Psychological Measurement, 2015, 39(6): 431-447.

[20] de la TORRE J. The generalized DINA model framework [J]. Psychometrika, 2011, 76(2): 179-199.

This work is partially supported by the Education Science “Twelfth Five-Year” Planning Project of Hubei Province (2011-B130), the Planning Project of Science and Technology of State Archives Bureau (2016-x-51), the Planning Project of Outstanding Young and Middle-aged Scientific and Technological Innovation Team of Universities and Colleges of Hubei Province (T201515), the Science and Technology Project of Education Department of Hubei Province (D20142504).

LIQuan, born in 1982, M. S., lecturer. His research interests include machine learning, data mining.

LIUXinghong, born in 1969, M. S., professor. Her research interests include big data, education informationization.

XUXinhua, born in 1968, M. S., professor. His research interests include database, data mining.

LINSong, born in 1978, M. S., lecturer. His research interests include search engine, data mining.