反饋式個性化試題推薦方法

萬永權(quán) 燕彩蓉 朱 明 蘇厚勤

1(上海建橋?qū)W院計(jì)算機(jī)科學(xué)與技術(shù)系 上海 201306) 2(東華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 上海 201620)

0 引 言

移動互聯(lián)網(wǎng)、智能終端設(shè)備和社會網(wǎng)絡(luò)平臺為全方位海量信息的產(chǎn)生、收集和分析提供了保障，促進(jìn)了個性化在線教育的發(fā)展與普及。個性化在線教育是一種基于互聯(lián)網(wǎng)數(shù)據(jù)來分析用戶學(xué)習(xí)狀況，滿足其學(xué)習(xí)需求的平臺，系統(tǒng)會根據(jù)用戶的年齡和知識積累，甚至心理活動，判斷該用戶的教育水平，并在此基礎(chǔ)上提供相應(yīng)難度的課程、資料和題庫等[1-2]。這從根本上改變了傳統(tǒng)教育中機(jī)械的教學(xué)體系和教學(xué)方法，讓教育量身定制成為可能。

試題推薦服務(wù)是個性化在線教育平臺的關(guān)鍵環(huán)節(jié)，主要用于促進(jìn)學(xué)生對知識點(diǎn)的理解，評價其學(xué)習(xí)效果[3-4]。傳統(tǒng)意義的推薦系統(tǒng)是利用電子商務(wù)網(wǎng)站向客戶提供商品信息和建議，從而幫助用戶決定需要購買的商品，或者模擬銷售人員幫助客戶來完成購買過程。隨著移動互聯(lián)網(wǎng)的發(fā)展和大規(guī)模數(shù)據(jù)的產(chǎn)生，推薦系統(tǒng)也被輻射到在線教育領(lǐng)域，通過幫助制定個性化學(xué)習(xí)方案以及提供更多的參考資料，使得用戶可以便捷地獲取學(xué)習(xí)資源，打破時間和空間的限制來學(xué)習(xí)。由于試題資源數(shù)量龐大，學(xué)生想在有限的時間內(nèi)練習(xí)所有的試題幾乎是不可能的。因此，如何幫助學(xué)生掌握各個知識點(diǎn)，更快地評價其學(xué)習(xí)的狀態(tài)，是一個重要的問題。目前推薦方法聚焦于基于用戶產(chǎn)生的海量學(xué)習(xí)活動數(shù)據(jù)以及社會網(wǎng)絡(luò)群，利用相關(guān)技術(shù)手段如深度學(xué)習(xí)不斷優(yōu)化學(xué)習(xí)模型，并依此構(gòu)建自適應(yīng)學(xué)習(xí)系統(tǒng)或者從多樣性的角度進(jìn)行推薦[5-6]。

個性化推薦重在了解每個學(xué)生的狀態(tài)及其能力。本文將對試題屬性進(jìn)行細(xì)粒度的劃分，從試題難度、認(rèn)知層次和知識點(diǎn)來評價學(xué)生對課程的掌握程度。面向?qū)W生個性化學(xué)習(xí)提出試題推薦算法并闡述其中的關(guān)鍵技術(shù)，精準(zhǔn)地對學(xué)生的個性化知識點(diǎn)掌握程度進(jìn)行建模，相關(guān)算法和技術(shù)能夠輻射到其他學(xué)科。

1 相關(guān)定義

個性化推薦是根據(jù)用戶的屬性特征和興趣愛好，通過采集和分析其歷史行為，得出符合規(guī)則的推薦內(nèi)容即項(xiàng)目。為了使推薦效果更好，系統(tǒng)需要充分地收集用戶的屬性，或者找到與該用戶有相同興趣愛好的其他用戶進(jìn)行推薦。推薦系統(tǒng)中重要的三個關(guān)系是用戶、項(xiàng)目和評分矩陣[7]，在面向?qū)W生的試題推薦系統(tǒng)中，三者之間的具體含義表述如下：

定義1用戶：即學(xué)生，設(shè)U為所有學(xué)生的集合，m=|U|。

定義2項(xiàng)目：即試題，設(shè)V為可以推薦給學(xué)生的所有試題的集合，n=|V|。

定義3評分矩陣：每個學(xué)生對每個試題都可能產(chǎn)生一個評分，其值構(gòu)成了學(xué)生-試題評分矩陣Rm×n。很多傳統(tǒng)推薦方法都是根據(jù)評分矩陣提供推薦項(xiàng)目列表，Rij(1≤i≤m,1≤j≤n)的值表示學(xué)生Ui對試題Vj可能的掌握程度，其初始值通常設(shè)為0，最大值設(shè)為1。

本文采用基于內(nèi)容的推薦方法[8-9]，即通過對用戶屬性和項(xiàng)目的特征描述進(jìn)行分析，選擇與用戶屬性相似度最高的項(xiàng)目進(jìn)行推薦。需要為每個用戶和每個項(xiàng)目分別建立屬性向量，然后把用戶屬性向量與項(xiàng)目屬性向量進(jìn)行對比，兩者相似性越高，說明用戶對該項(xiàng)目越喜歡，否則，用戶對該項(xiàng)目可能沒有興趣，可以通過建立相似性函數(shù)來完成[10]。在這里，體現(xiàn)為學(xué)生對試題的掌握程度，要給學(xué)生推薦他沒有掌握并且難度最適合他的知識。

基于內(nèi)容的推薦方法的優(yōu)點(diǎn)是：用戶之間相互獨(dú)立，其屬性只依賴于自身的興趣，根據(jù)項(xiàng)目的屬性與用戶屬性是否相似進(jìn)行推薦，這樣設(shè)計(jì)的推薦系統(tǒng)具有良好的解釋性；而且項(xiàng)目的冷啟動影響較小，因?yàn)樾马?xiàng)目可以根據(jù)其屬性信息立即得到推薦。其不足之處在于：單個用戶的屬性有限，難以與項(xiàng)目屬性進(jìn)行對比，只能分析一些較容易的文本信息；用戶的冷啟動影響較大，因?yàn)闊o法向沒有歷史記錄的新用戶提供更好的服務(wù)。試題推薦中涉及的用戶都是學(xué)生，信息相對準(zhǔn)確和全面，可以彌補(bǔ)基于內(nèi)容進(jìn)行推薦的不足。

2 試題屬性標(biāo)準(zhǔn)化及學(xué)生能力評價

每門課程有不同的知識點(diǎn)，不同的知識點(diǎn)對應(yīng)不同的試題，試題的復(fù)雜性也會反應(yīng)該知識點(diǎn)的難度。在試題推薦時，要根據(jù)不同學(xué)生的狀態(tài)推薦難度適中的題目，給初學(xué)者推薦難度很大的題目或者給基本掌握該知識點(diǎn)的同學(xué)推薦很簡單的題目都是不合適的。因此，試題的屬性特征對于構(gòu)建精準(zhǔn)的推薦模型非常重要。經(jīng)過大量分析和實(shí)驗(yàn)，對每個試題屬性做如下約定：

1) 試題難度：A、B、C、D，從簡到難分為4檔，其中D檔難度最高，每個試題必須具有難度屬性。

2) 試題認(rèn)知層次：Ⅰ、Ⅱ、Ⅲ、Ⅳ，分別表示識記、理解、簡單應(yīng)用和綜合應(yīng)用，認(rèn)知層次逐步加深。

3) 試題題型：1、2、3，分別對應(yīng)單項(xiàng)選擇、多項(xiàng)選擇、填空。由于在線試題采用在線系統(tǒng)自動閱卷方式，目前暫沒有設(shè)置簡答題和綜合題。

4) 試題知識點(diǎn)：針對不同課程由教師或管理員設(shè)置不同的知識點(diǎn)，如《操作系統(tǒng)》課程的知識點(diǎn)可以是進(jìn)程同步、處理器調(diào)度、存儲器管理等。每個知識點(diǎn)可以包含不同難度、不同認(rèn)知層次的題目，便于評估學(xué)生對于不同知識點(diǎn)的理解能力，以及為不同學(xué)習(xí)階段的學(xué)生推薦不同的試題。

對于試題Vj，其難度、認(rèn)知層次、題型和知識點(diǎn)屬性分別表示為：Vj.diff、Vj.level、Vj.type、Vj.know。

試題推薦與傳統(tǒng)推薦的不同在于：傳統(tǒng)推薦中各項(xiàng)目是獨(dú)立的，項(xiàng)目之間通過屬性可以評價或計(jì)算兩者的相似性，這種相似性可以作為參考為用戶提供推薦；試題推薦時，每個試題屬于某個知識點(diǎn)，相同知識點(diǎn)相同難度的試題不需要重復(fù)地推薦給學(xué)生，而且如果學(xué)生已經(jīng)掌握了難度更大的試題，那么相對簡單的試題就不需要再推薦給該學(xué)生。因此，推薦算法要考慮的情況更加復(fù)雜。為了把學(xué)生能力與試題屬性關(guān)聯(lián)起來，還需設(shè)置兩個矩陣，分別用于記錄學(xué)生對知識點(diǎn)難度的掌握程度，以及學(xué)生對知識點(diǎn)認(rèn)知層次的掌握程度，在進(jìn)行試題推薦時，綜合考慮這些因素。

定義4難度能力矩陣：對于某課程A，包括多個知識點(diǎn)，設(shè)K為可以推薦給學(xué)生的所有知識點(diǎn)的集合，l=|K|。每位學(xué)生對每個知識點(diǎn)的難度對應(yīng)一個能力，其值構(gòu)成了學(xué)生-知識點(diǎn)相關(guān)的難度能力矩陣KDm×l。KDip(1≤i≤m,1≤p≤l)的值表示學(xué)生Ui對知識點(diǎn)Kp可能的掌握難度，其初始值設(shè)為0，最大值設(shè)為4(對應(yīng)難度D)。

定義5認(rèn)知能力矩陣：每位學(xué)生對每個知識點(diǎn)都可能產(chǎn)生一個認(rèn)知能力，其值構(gòu)成了學(xué)生-知識點(diǎn)相關(guān)的認(rèn)知能力矩陣KLm×l。KLip(1≤i≤m,1≤p≤l)的值表示學(xué)生Ui對知識點(diǎn)Kp可能的認(rèn)知能力，其初始值設(shè)為0，最大值設(shè)為4(對應(yīng)認(rèn)知層次Ⅳ)。

學(xué)生-試題評分矩陣的計(jì)算方法如下：

1) 如果學(xué)生Ui是新用戶，那么他對試題Vj的評分值為0，因?yàn)樵搶W(xué)生沒有做過任何測試，Rij=0。

2) 如果學(xué)生Ui獲得一份試題推薦，并且提交給系統(tǒng)，那么系統(tǒng)可以根據(jù)學(xué)生的答題情況對評分矩陣、難度能力矩陣、認(rèn)知能力矩陣進(jìn)行更新，見算法1所示。

算法1評分矩陣、難度能力矩陣、認(rèn)知能力矩陣更新

輸入：Ui，Vj，KD，KL，R，answer

輸出：KD，KL，R

begin

intp=Vj.know;

//獲得試題Vj的知識點(diǎn)ID

if(answer==true) then

Rij=1;

//用戶答題正確

KDip=max{KDip,Vj.diff};

//調(diào)整難度能力值

KLip=max{KLip,Vj.level};

//調(diào)整認(rèn)知能力值

else

Rij=0;

//用戶答題錯誤

KDip=min{KDip,Vj.diff};

//調(diào)整難度能力值

KLip=min{KLip,Vj.level};

//調(diào)整認(rèn)知能力值

returnKD,KL,R;

end

3 試題推薦算法及難度調(diào)整策略

傳統(tǒng)試題推薦主要根據(jù)評分矩陣為學(xué)生選擇相關(guān)試題集。為了給學(xué)生推薦本門課程最符合學(xué)生能力值的試題，本文綜合考慮三個矩陣：評分矩陣、難度能力矩陣和認(rèn)知能力矩陣，采用以下推薦原則：

1) 對于某個知識點(diǎn)，如果學(xué)生對應(yīng)的難度能力和認(rèn)知能力均已達(dá)到該知識點(diǎn)中所有試題的最高難度和最高認(rèn)知，那么說明該學(xué)生已經(jīng)完全掌握了該知識點(diǎn)，可以推薦其他的知識點(diǎn)。

2) 否則，從試題中推薦學(xué)生沒有做過(或者沒有做對過)，而且該試題難度或認(rèn)知不低于學(xué)生對該知識點(diǎn)的難度或認(rèn)知能力的題目。具體描述見算法2所示。

算法2試題推薦

輸入：i，V，KD，KL，R

輸出：recList

begin

intj,p;

ListcandRecList=null;

//創(chuàng)建一個候選試題集

for eachvinVdo

j=v.ID;

p=v.know;

if (Rij==0 && (Vj.diff>=KDip||Vj.level>=KLip)) thencandRecList.add(v);

//滿足條件的添加到候選試題集

recList=topK(candRecList);

//從候選試題集中推薦top-K

returnrecList;

end

試題的難度和認(rèn)知層次由管理員或者教師來設(shè)置，這個設(shè)置對于試題推薦非常關(guān)鍵，會影響推薦的效果和學(xué)生的測評。通常，教師對于試題的題型、知識點(diǎn)和認(rèn)知層次都能非常準(zhǔn)確地把握，但是對于試題難度只能根據(jù)經(jīng)驗(yàn)來判斷；而且不同教師對于難度的認(rèn)同也不一樣。為了更客觀地評價學(xué)生對知識點(diǎn)的掌握程度，我們將根據(jù)學(xué)生的反饋對試題難度進(jìn)行調(diào)整，顯然單個學(xué)生的答題狀況不足以說明問題，所以難度調(diào)整采用手動方式，由管理員來處理。如系統(tǒng)分析發(fā)現(xiàn)大部分學(xué)生都能夠做對某個試題，而這個試題的難度設(shè)置為C，那么就需要對難度進(jìn)行適當(dāng)?shù)恼{(diào)整，具體見算法3所示。

算法3試題難度調(diào)整

輸入：T,V

//T為所有學(xué)生對試題的提交記錄集合

輸出：V

//對試題的難度屬性進(jìn)行更新

begin

intnewDiff[n]=0;

//為每個試題設(shè)置新的難度值

intcount[n];

//記錄每個試題被提交的次數(shù)

inti,j,p;

for eachtinTdo

i=t.student;

//獲得學(xué)生的ID

j=t.problem;

//獲得試題的ID

p=Vj.know;

//獲得試題對應(yīng)的知識點(diǎn)

if (t.diff>=Vj.diff&&t.answer==false) then

//學(xué)生做題時的能力高于試題

newDiff[j]--;

//可能難度太高

if (t.diff<=Vj.diff&&t.answer==true) then

//學(xué)生做題時的能力低于試題

newDiff[j]++；

//可能難度太低

count[j]++;

for (intj=0;j++;j

if (abs(newDiff[j])>=count[j]/2) then

if (newLevel[j]>0) then

Vj.diff--;

Vj.diff=max(1,Vj.diff);

else

Vj.diff++;

Vj.diff=min(4,Vj.diff);

return V;

end

4 推薦系統(tǒng)框架

結(jié)合試題屬性標(biāo)準(zhǔn)化和學(xué)生能力評分方法，試題推薦算法以及基于反饋的試題難度調(diào)整策略，提出面向在線學(xué)習(xí)的個性化試題推薦系統(tǒng)框架，框架主要由三部分組成。如圖1所示。

1) 數(shù)據(jù)收集與準(zhǔn)備：通過數(shù)據(jù)采集模塊，收集學(xué)生和試題的基本屬性數(shù)據(jù)，學(xué)生數(shù)據(jù)通過注冊平臺由學(xué)生自行輸入，試題數(shù)據(jù)由管理員或教師輸入，其中有些輸入如題目類型和知識點(diǎn)是客觀的，有些數(shù)據(jù)如試題難度和認(rèn)知層次則相對主觀，尤其是試題難度，不同教師可能會有不同的判斷標(biāo)準(zhǔn)。學(xué)生在線測試記錄也要保存，便于后續(xù)對試題難度進(jìn)行調(diào)整。把這些數(shù)據(jù)按照設(shè)定的格式存儲到數(shù)據(jù)庫系統(tǒng)中。

2) 數(shù)據(jù)預(yù)處理及模型建立：從用戶的注冊信息中篩選對用戶學(xué)習(xí)行為和興趣偏好有重要影響的數(shù)據(jù)，并進(jìn)行量化，從而構(gòu)成用戶屬性；根據(jù)管理員或教師錄入的試題信息中篩選對試題推薦有影響的數(shù)據(jù)，預(yù)處理后構(gòu)成項(xiàng)目屬性；根據(jù)學(xué)生答題情況計(jì)算用戶-項(xiàng)目評分矩陣值，該矩陣通常維度非常高，而且是稀疏矩陣，可以采用矩陣分解技術(shù)對高維數(shù)據(jù)進(jìn)行降維。

3) 推薦系統(tǒng)構(gòu)建：建立推薦模型，對推薦結(jié)果進(jìn)行展現(xiàn)和評價。目前已有的研究成果中涉及的數(shù)據(jù)集大多是小規(guī)?；蚰M的數(shù)據(jù)集，當(dāng)面對實(shí)際應(yīng)用時，需要方法和框架能夠滿足大規(guī)模在線應(yīng)用的并發(fā)性和實(shí)時性要求，這將成為在線推薦系統(tǒng)領(lǐng)域新的挑戰(zhàn)。同時測試結(jié)果還要反饋給系統(tǒng)，便于難度調(diào)整。

圖2所示為教師端試題錄入界面，當(dāng)教師在輸入試題時需要錄入試題的屬性，為推薦提供參考。系統(tǒng)開發(fā)采用LAMP方式，即Linux系統(tǒng)+Apache服務(wù)器+MySQL+PHP。所提出的推薦方法在“Linux系統(tǒng)”課程的題庫系統(tǒng)中得到驗(yàn)證，通過測試后學(xué)生能夠更高效、更準(zhǔn)確地提升能力。

5 結(jié) 語

通過研究個性化試題推薦系統(tǒng)中試題屬性及其與學(xué)生能力之間的關(guān)系，提出個性化的試題推薦算法以及基于學(xué)生在線測試反饋的試題難度調(diào)整算法。通過PHP設(shè)計(jì)并實(shí)現(xiàn)了試題推薦系統(tǒng)，并在Linux系統(tǒng)課程中進(jìn)行了實(shí)踐，為個性化在線學(xué)習(xí)提供理論和實(shí)踐上的指導(dǎo)。

目前的試題難度調(diào)整是非定期地由管理員提出請求，采用手動方式，下一步的研究將把該模塊自動化，由系統(tǒng)定期自動更新。