個性化習(xí)題路徑推薦方法研究綜述

馮旭光　張峰

關(guān)鍵詞：習(xí)題路徑推薦；個性化；全局最優(yōu)路徑；局部迭代路徑；推薦算法

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

1引言（Introduction）

在線題庫和在線判題系統(tǒng)[如“力扣”（leetcode），為全球程序員提供IT技術(shù)職業(yè)化提升的平臺]因?qū)W習(xí)資源多且用戶基數(shù)大，采用人工方式無法為每位平臺的學(xué)習(xí)者提供個性化指導(dǎo)。個性化習(xí)題路徑推薦旨在根據(jù)學(xué)習(xí)者的學(xué)習(xí)能力、知識背景等個性化特征，自動從題庫中選取適合該學(xué)習(xí)者的習(xí)題，并以合理的順序推薦習(xí)題。本文對近年來開展的個性化習(xí)題路徑研究工作進(jìn)行了梳理，首先按照推薦形式的不同，將現(xiàn)有工作分為全局最優(yōu)路徑推薦和局部迭代路徑推薦兩種類型，并對其實現(xiàn)方法和優(yōu)點、缺點進(jìn)行了介紹；然后對常用的五種個性化習(xí)題路徑推薦工作中常用的五種核心算法及使用這些算法的代表性工作進(jìn)行了總結(jié)和歸納；最后從個性化特征的挖掘和習(xí)題路徑的合理性兩個角度闡述了當(dāng)前該領(lǐng)域研究工作的難點及展望了未來的研究方向。

2個性化習(xí)題路徑推薦類型（Types of personalizedexercise path recommendation methods）

個性化習(xí)題路徑推薦的主要任務(wù)是根據(jù)學(xué)習(xí)者的知識水平、學(xué)習(xí)風(fēng)格、學(xué)習(xí)習(xí)慣等個性化特征，從在線題庫中選擇適合學(xué)習(xí)者的題目，并按照習(xí)題特點和學(xué)習(xí)者的學(xué)習(xí)偏好對推薦的習(xí)題進(jìn)行排序，最終以習(xí)題序列的形式推薦給學(xué)習(xí)者，個性化習(xí)題路徑推薦流程如圖1所示。

不同的個性化習(xí)題路徑推薦工作的實現(xiàn)方法和推薦目標(biāo)各不相同。本文梳理了以往的個性化習(xí)題路徑推薦研究工作，借鑒云岳等[1]對個性化學(xué)習(xí)路徑推薦的研究思路，將現(xiàn)有的推薦方法按推薦形式分為注重完整推薦內(nèi)容的全局最優(yōu)路徑推薦和注重學(xué)習(xí)者學(xué)習(xí)過程的局部迭代路徑推薦兩種類型。本節(jié)將分別介紹兩類推薦方法及其優(yōu)點和缺點。

2.1 全局最優(yōu)路徑推薦

全局最優(yōu)路徑推薦工作是從推薦內(nèi)容的完整性出發(fā)，在一次推薦中為學(xué)習(xí)者呈現(xiàn)能夠滿足其學(xué)習(xí)目標(biāo)的完整習(xí)題路徑，如圖2所示。該類方法能夠為學(xué)習(xí)者展示整個練習(xí)流程，方便學(xué)習(xí)者對將要練習(xí)的題目建立完整的認(rèn)識和清晰的規(guī)劃。此外，全局最優(yōu)路徑推薦中，每個推薦任務(wù)僅需運算一次，具有推薦速度快、運行效率高的特點。

在全局最優(yōu)路徑推薦工作中，XIA等[2]首先將學(xué)習(xí)者答題結(jié)果劃分為六種類型，用于計算習(xí)題難度。然后將學(xué)習(xí)者已經(jīng)完成的習(xí)題作為當(dāng)前狀態(tài)，通過馬爾可夫模型計算出的轉(zhuǎn)移矩陣，得到后續(xù)每個習(xí)題的出現(xiàn)概率。最后根據(jù)轉(zhuǎn)移矩陣、習(xí)題難度和學(xué)習(xí)者需求，為學(xué)習(xí)者推薦流行路徑、挑戰(zhàn)路徑和漸進(jìn)路徑。SEGAL等[3]提出了個性化習(xí)題難度排序算法（EduRank），用來為學(xué)習(xí)者生成個性化習(xí)題難度遞增序列。本研究根據(jù)相似學(xué)習(xí)者的已知難度排名，通過協(xié)同過濾投票機(jī)制，在不通過預(yù)測成績的情況下，直接為不同的學(xué)習(xí)者生成個性化的習(xí)題難度排序。XIA等[4]將習(xí)題路徑的練習(xí)范圍能夠覆蓋到所有指定的知識點作為推薦目標(biāo)。本文首先定義了知識概念圖，用于表示知識點之間的關(guān)系；然后根據(jù)知識概念圖篩選出與目標(biāo)知識點相關(guān)的所有題目；最后考慮習(xí)題難度，為學(xué)習(xí)者推薦符合知識點學(xué)習(xí)順序且難度適宜的習(xí)題路徑。

全局最優(yōu)路徑推薦方法能夠為學(xué)習(xí)者提供完整習(xí)題路徑，但忽略了學(xué)習(xí)者在題目練習(xí)過程中知識水平等個性化特征的變化，導(dǎo)致路徑的后段推薦精度降低。

2.2 局部迭代路徑推薦

局部迭代路徑推薦方法考慮到學(xué)習(xí)者在學(xué)習(xí)過程中個性化特征的變化，在一個推薦任務(wù)當(dāng)中，每次向?qū)W習(xí)者推薦部分習(xí)題，并收集學(xué)習(xí)者的練習(xí)得分、知識水平變化等信息，然后根據(jù)這些信息推薦后續(xù)習(xí)題，如此反復(fù)迭代，直到完成學(xué)習(xí)目標(biāo)，如圖3所示。局部迭代路徑推薦以更細(xì)的粒度為學(xué)習(xí)者規(guī)劃習(xí)題路徑。通過追蹤學(xué)習(xí)者個性化特征的變化情況，局部迭代路徑推薦能夠?qū)崿F(xiàn)更高的推薦精度。

針對局部迭代路徑推薦方法，SAI TO等[ 5 ]將學(xué)習(xí)者的當(dāng)前能力和目標(biāo)能力用圖表進(jìn)行統(tǒng)計，并根據(jù)歷史學(xué)習(xí)者答題記錄使用長短期記憶神經(jīng)網(wǎng)絡(luò)模型（Long Short-TermMemory，LSTM）推薦下一道適合學(xué)習(xí)者的習(xí)題。YERA等[6]使用協(xié)同過濾的方法，為學(xué)習(xí)者推薦下一道習(xí)題。本研究根據(jù)題庫中每道習(xí)題的回答狀態(tài)，將每位歷史學(xué)習(xí)者的學(xué)習(xí)記錄建模為學(xué)習(xí)者矩陣，對于每道沒有被當(dāng)前學(xué)習(xí)者解決的習(xí)題，根據(jù)前k 個相似的用戶計算出推薦分?jǐn)?shù)，并在每次推薦中推薦得分最高的習(xí)題。DIAO等[7]首先根據(jù)知識點的先決、包含和平行關(guān)系構(gòu)造知識樹；然后將學(xué)習(xí)目標(biāo)表示為知識點集合，根據(jù)知識樹表示的知識點之間的關(guān)系以及知識點掌握程度，為學(xué)習(xí)者逐步推薦未完全掌握知識點的相關(guān)習(xí)題。當(dāng)學(xué)習(xí)者完成這些習(xí)題，則開始判斷學(xué)習(xí)者對知識點是否掌握，如果掌握，就推薦下一個知識點的習(xí)題，否則繼續(xù)推薦與該知識點相關(guān)的習(xí)題，直到學(xué)習(xí)者掌握最終目標(biāo)知識點。

局部迭代路徑推薦方法考慮了學(xué)習(xí)者在練習(xí)過程中個性化特征發(fā)生的變化，但是由于習(xí)題路徑在學(xué)習(xí)過程中不斷生成，導(dǎo)致學(xué)習(xí)者難以把握學(xué)習(xí)任務(wù)的整體內(nèi)容，也很難做到對學(xué)習(xí)進(jìn)度的控制。此外，由于需要在一個任務(wù)中進(jìn)行多次計算和推薦，所以增大了推薦系統(tǒng)的運行壓力。

3個性化習(xí)題路徑推薦所使用的核心算法（Themain algorithm used for personalized exercisepath recommendation）

推薦算法是一個推薦系統(tǒng)的核心，不同的推薦算法適用于不同的推薦目標(biāo)和推薦場景。本節(jié)將介紹個性化習(xí)題路徑推薦工作使用最多的五類核心算法，即協(xié)同過濾、認(rèn)知診斷、知識追蹤、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，并對使用各類算法的主要工作進(jìn)行梳理和總結(jié)。

3.1基于協(xié)同過濾的方法

協(xié)同過濾根據(jù)其他用戶的偏好向目標(biāo)用戶推薦，它首先找出一組與目標(biāo)用戶偏好一致的鄰居用戶，然后分析該鄰居用戶，把鄰居用戶喜歡的項目推薦給目標(biāo)用戶[8]。在基于協(xié)同過濾的習(xí)題路徑推薦工作中，LABAJ等[9]發(fā)現(xiàn)當(dāng)學(xué)習(xí)者在沒有推薦的情況下自由選擇習(xí)題時，會選擇目前對他們來說比較容易和比較難的習(xí)題。為解決這個問題，本研究提出了一種基于相似學(xué)習(xí)者的難度反饋，為目標(biāo)學(xué)習(xí)者推薦適當(dāng)難度習(xí)題的推薦方法。TOLEDO等[10]將模糊技術(shù)應(yīng)用于與協(xié)同過濾方法結(jié)合，根據(jù)其他用戶的歷史答題信息為當(dāng)前用戶推薦習(xí)題路徑。本研究還提出了一種數(shù)據(jù)預(yù)處理方法，用于去除歷史信息中可能影響推薦的異常行為，進(jìn)一步提高推薦精度。

3.2基于認(rèn)知診斷的方法

認(rèn)知診斷的目標(biāo)是通過一批學(xué)習(xí)者在一批題目上的作答情況，分析每一位學(xué)習(xí)者對知識點的掌握程度。

在基于認(rèn)知診斷的研究工作中，朱天宇等[11]首先使用認(rèn)知診斷模型對學(xué)習(xí)者對知識點的掌握程度進(jìn)行建模，然后結(jié)合概率矩陣分解方法預(yù)測學(xué)習(xí)者正確回答習(xí)題的概率pi，最后根據(jù)實際需求，設(shè)置推薦習(xí)題的難度范圍，即[β1，β2]，并通過pi計算該習(xí)題對學(xué)習(xí)者的相對難度，篩選相對難度在推薦難度范圍內(nèi)的試題，從而向每一位學(xué)習(xí)者進(jìn)行個性化習(xí)題序列推薦。LI等[12]根據(jù)學(xué)習(xí)者選擇的知識點目標(biāo)和期望的分?jǐn)?shù)范圍，為學(xué)習(xí)者推薦與知識點目標(biāo)高度契合的習(xí)題。首先，通過認(rèn)知診斷判斷學(xué)習(xí)者對知識的掌握程度，并為每一位學(xué)習(xí)者對每個知識點的掌握程度標(biāo)定等級。然后，通過歷史學(xué)習(xí)者的做題情況統(tǒng)計每道練習(xí)對它所包含的每個知識點的掌握程度的要求，并據(jù)此向?qū)W習(xí)者推薦習(xí)題。

3.3基于知識追蹤的方法

知識追蹤（Knowledge Tracing，KT）旨在建立學(xué)習(xí)者知識狀態(tài)隨時間變化的模型，以判斷學(xué)習(xí)者對知識的掌握程度。知識追蹤和認(rèn)知診斷一樣，其目的都是為了獲得學(xué)習(xí)者對知識點的掌握度；它們區(qū)別在于認(rèn)知診斷需要一批學(xué)習(xí)者的一批答題記錄，知識追蹤則只需要一個學(xué)習(xí)者對應(yīng)的答題序列，并動態(tài)更新學(xué)習(xí)者的實時知識點掌握度[13]。

在基于知識追蹤的工作當(dāng)中，WU等[ 1 4 ]從知識點覆蓋度、知識點掌握程度、習(xí)題多樣性三個角度為學(xué)習(xí)者規(guī)劃習(xí)題路徑。首先，本研究使用向量表示每道題目的知識點覆蓋情況。然后，基于RNN神經(jīng)網(wǎng)絡(luò)，根據(jù)學(xué)習(xí)者從開始學(xué)習(xí)到現(xiàn)在所完成的練習(xí)，預(yù)測下一次出現(xiàn)的練習(xí)應(yīng)該包括哪些知識點，并使用深度知識追蹤（Deep Knowledge Tracing，DKT）預(yù)測學(xué)習(xí)者對這些知識點掌握程度。最后，通過學(xué)習(xí)者對不同知識點的掌握程度，為學(xué)習(xí)者推薦練習(xí)范圍能夠覆蓋到掌握程度不足的所有知識點，且習(xí)題具有適當(dāng)難度的習(xí)題路徑。為保證推薦的習(xí)題路徑具有新穎性和多樣性，本研究還加入了兩個過濾層用來過濾重復(fù)和相似的習(xí)題。DAVID等[15]考慮到單一的知識追蹤模型并不適合所有的學(xué)習(xí)場景，于是設(shè)計了一種多模型選擇算法，根據(jù)被推薦者過去的做題情況，從訓(xùn)練好的多個模型中選擇最優(yōu)模型，然后根據(jù)這個模型預(yù)測的知識點掌握程度和分?jǐn)?shù)，為每一道待推薦的習(xí)題進(jìn)行打分，每次向?qū)W習(xí)者推薦得分最高的習(xí)題。

3.4 基于深度學(xué)習(xí)的方法

近年來，深度學(xué)習(xí)被廣泛應(yīng)用于教育推薦領(lǐng)域。各類深度學(xué)習(xí)算法的訓(xùn)練本質(zhì)上都是對自然界復(fù)雜映射關(guān)系進(jìn)行抽象與擬合，而學(xué)習(xí)者與習(xí)題路徑之間正對應(yīng)一種復(fù)雜的映射關(guān)系，其中的規(guī)律從理論上可由深度神經(jīng)網(wǎng)絡(luò)進(jìn)行表示和學(xué)習(xí)。

在基于深度學(xué)習(xí)方法的研究工作中，WANG等[16]首先使用深度學(xué)習(xí)訓(xùn)練和生成學(xué)習(xí)者和練習(xí)習(xí)題的初始特征表示，然后使用因果推理干預(yù)算法對這些特征進(jìn)行微調(diào)，最后再次使用深度學(xué)習(xí)預(yù)測學(xué)習(xí)者做習(xí)題的得分情況，并從中挑選難度適宜的習(xí)題推薦給相應(yīng)的學(xué)習(xí)者。FANTOZZI等[17]基于自動編碼神經(jīng)網(wǎng)絡(luò)（Auto-encoder Neural Network，ANN）構(gòu)造了一種推薦方法，能夠逐步為學(xué)習(xí)者推薦難度遞增的習(xí)題序列。HUO等[18]認(rèn)為目前的知識追蹤方法不足以對學(xué)習(xí)者的知識狀態(tài)進(jìn)行個性化建模，并提出了一種個性化的建模方法，通過LSTM網(wǎng)絡(luò)為每一位學(xué)習(xí)者估計和維護(hù)一個獨立的知識狀態(tài)向量，并由此構(gòu)造了一種新的個性化習(xí)題推薦模型，其具有個性化機(jī)制的長短期記憶神經(jīng)網(wǎng)絡(luò)模型（LSTMCQP）。實驗證明，該模型推薦不同練習(xí)的能力優(yōu)于現(xiàn)有方法。

3.5基于強(qiáng)化學(xué)習(xí)的方法

強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）是一個用于目標(biāo)導(dǎo)向?qū)W習(xí)和順序決策建模和自動化的計算框架。RL特別適用于涉及代理人需要學(xué)習(xí)在不同情況下做什么的策略——即如何將狀態(tài)映射到行動上，以使長期利益最大化的設(shè)置。

在基于強(qiáng)化學(xué)習(xí)方法的研究工作中，HUANG等[19]將學(xué)習(xí)者的做題過程抽象成一個馬爾科夫過程，并使用深度強(qiáng)化學(xué)習(xí)推薦下一步的最優(yōu)習(xí)題。在該過程中，作者設(shè)計了三個獎勵函數(shù)用于同時優(yōu)化三個推薦目標(biāo)。CAI等[20]將學(xué)習(xí)者的習(xí)題練習(xí)過程表示為馬爾可夫決策過程，并使用深度知識追蹤技術(shù)從學(xué)習(xí)者練習(xí)習(xí)題的過程中動態(tài)檢索學(xué)習(xí)者的知識水平，并將其作為學(xué)習(xí)狀態(tài)，在此基礎(chǔ)上使用強(qiáng)化學(xué)習(xí)技術(shù)為學(xué)習(xí)者推薦最優(yōu)的習(xí)題。

4研究難點與未來發(fā)展方向（Research difficultiesand future development direction）

根據(jù)對個性化習(xí)題路徑推薦領(lǐng)域的分析和研究，其研究難點及未來的發(fā)展方向主要體現(xiàn)在以下兩個方面。

（1）個性化特征的挖掘。在個性化習(xí)題路徑推薦方法中，一個關(guān)鍵步驟是根據(jù)學(xué)習(xí)者的個性化特征對其進(jìn)行建模。然而，不同學(xué)習(xí)者進(jìn)行習(xí)題練習(xí)的場景和目的各不相同，如何根據(jù)不同的推薦場景和學(xué)習(xí)目標(biāo)挖掘具有代表性的個性化特征，成為能否成功推薦個性化習(xí)題路徑的關(guān)鍵，這也是個性化習(xí)題路徑推薦領(lǐng)域目前研究的難點之一。

（2）習(xí)題路徑的合理性。隨著信息技術(shù)與傳統(tǒng)教育方法的融合，許多優(yōu)秀的教育理論被應(yīng)用在電子學(xué)習(xí)之中。針對個性化習(xí)題路徑推薦領(lǐng)域，如何將更為科學(xué)的教育理論應(yīng)用到推薦技術(shù)當(dāng)中，使習(xí)題路徑在滿足學(xué)習(xí)者個性化要求的基礎(chǔ)上符合教育規(guī)律，是目前面臨的主要困難和未來重要研究方向。

6結(jié)論（Conclusion）

個性化習(xí)題路徑推薦作為在線學(xué)習(xí)的一個研究領(lǐng)域，有很多需要深入研究的問題。本文對近年來針對個性化習(xí)題路徑推薦的相關(guān)研究工作，從推薦形式和核心方法兩個角度對其進(jìn)行了分類和整理，并對當(dāng)前的研究難點和未來的研究方向進(jìn)行了闡述。希望能夠為個性化習(xí)題路徑推薦研究領(lǐng)域構(gòu)建一個較為完整的全景圖，為相關(guān)研究人員提供參考和借鑒。

作者簡介：

馮旭光（1997-），男，碩士生.研究領(lǐng)域：教育數(shù)據(jù)挖掘.張 峰（1981-），男，博士，副教授.研究領(lǐng)域：教育數(shù)據(jù)挖掘，軟件工程.本文通信作者.