基于深度神經(jīng)網(wǎng)絡(luò)的個性化學(xué)習行為評價方法

郎 波，樊一娜

(北京師范大學(xué)珠海分校，廣東 珠海 519087)

0 引 言

隨著信息技術(shù)的發(fā)展，結(jié)合大數(shù)據(jù)和人工智能技術(shù)，在線學(xué)習方式成為一種越來越重要的學(xué)習方式，這種學(xué)習方式由于不受時間、地點的限制，并且為教師和學(xué)生提供了更多靈活的互動方式。在《國家中長期改革和發(fā)展規(guī)劃綱要(2010-2020年)》和《教育信息化十年發(fā)展規(guī)劃(2011-2020)年》中都對學(xué)習的個性化和教學(xué)的多樣化提出了要求。與傳統(tǒng)的教學(xué)方式相比，新型的在線學(xué)習方式有利于學(xué)習者綜合各個孤立的知識點，從而形成完整的知識網(wǎng)絡(luò)。這種學(xué)習方式重點突出了學(xué)習者的個性特點，例如，學(xué)習者在初期學(xué)習的時候?qū)W(xué)習時間、學(xué)習內(nèi)容、學(xué)習類型和與老師的交流方式有著明顯清晰的需求，隨著學(xué)習的深入，學(xué)習者也需要對自己學(xué)習之后能力水平的評估，學(xué)習前和學(xué)習后的差距，后續(xù)相關(guān)知識的跟蹤學(xué)習等方面也慢慢產(chǎn)生出了自己的需求，但是這種需求是比較模糊，難以量化的[1]。個性化學(xué)習雖能簡化學(xué)習者的成本和運作方式，但對個性化學(xué)習教學(xué)效果評價目前卻缺少合適的手段[2]，尤其是個性化學(xué)習所表現(xiàn)出來的一些獨有特征，例如：開始學(xué)習前學(xué)習者對自己具有的知識結(jié)構(gòu)和范圍的認知，通過一段時間學(xué)習后應(yīng)該需要彌補的知識盲點、學(xué)習結(jié)束后學(xué)習能力的提升及偏好等。如果對這些個性化學(xué)習的特征把握不準，那么就很難實現(xiàn)真正意義上的因材施教。此外，如果用傳統(tǒng)的人工力量去分析每一個學(xué)習者的活動，則無法面對學(xué)習平臺上每時每刻產(chǎn)生的浩如煙海的數(shù)據(jù)。而利用信息化手段，由機器來分析用戶學(xué)習行為產(chǎn)生的大數(shù)據(jù)，保留關(guān)鍵有效特征，從而產(chǎn)生完整而準確的個性化評價。

針對這一核心問題，不少研究人員從各個方面進行了深入研究。例如，針對學(xué)習平臺上產(chǎn)生的海量大數(shù)據(jù)，文獻[3-4]利用Hadoop技術(shù)進行海量學(xué)習數(shù)據(jù)的匯聚、存儲和獲??；文獻[5]通過記錄學(xué)習者在線學(xué)習的行為、記錄、習慣偏好等活動，形成多維的立體戶數(shù)據(jù)模型來量化個性化學(xué)習過程中學(xué)習者的行為模式，從而提供有針對性的個性化服務(wù)；文獻[6]利用梯度下降的方法對數(shù)據(jù)進行綜合，得到相關(guān)數(shù)據(jù)模型進行學(xué)動評估；文獻[7]提出了在智能導(dǎo)學(xué)環(huán)境下個性化學(xué)習模型的建立及其應(yīng)用效能的評價的方法；文獻[8]設(shè)計了基于數(shù)字化學(xué)習環(huán)境下的學(xué)習者數(shù)據(jù)肖像模型，并在此基礎(chǔ)上對個性化學(xué)習的內(nèi)涵和特征進行分析；文獻[9]分析了在線學(xué)習路徑和資源對學(xué)習者使用在線系統(tǒng)的影響，提出學(xué)習者的能力層次對在線系統(tǒng)使用的影響是比較顯著的。無論哪種方法，評價的核心在于對學(xué)習者在學(xué)習過程中產(chǎn)生的數(shù)據(jù)如何進行有效分類，并通過合適的方式對描述學(xué)習者行為的多維數(shù)據(jù)特征進行有效降維，既能夠保證數(shù)據(jù)特征的唯一代表性，又能夠保證系統(tǒng)平臺能夠以最小的計算代價實現(xiàn)計算。而如何提高分類的精度并且有效地利用分類結(jié)果對后續(xù)處理提供幫助，深度神經(jīng)網(wǎng)絡(luò)在這方面的表現(xiàn)非常顯著，目前幾乎在所有有關(guān)分類的問題領(lǐng)域，神經(jīng)網(wǎng)絡(luò)都有不俗的表現(xiàn)[10-13]。

鑒于深度神經(jīng)網(wǎng)絡(luò)在特征訓(xùn)練方面的優(yōu)勢，文中提出了一種基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習的方法。首先對學(xué)習者產(chǎn)生的原始學(xué)習數(shù)據(jù)特征向量進行自動聚類，然后利用深度學(xué)習網(wǎng)絡(luò)DNN對多維數(shù)據(jù)向量特征進行降維清洗，以保證評價數(shù)據(jù)的真實有效性和實時性，最后通過相關(guān)的實驗數(shù)據(jù)對這種個性化評價行為的有效性進行驗證。

1 深度神經(jīng)網(wǎng)絡(luò)評價模型

1.1 基于多維數(shù)據(jù)向量的有效聚類方法

根據(jù)布魯姆理論，人類的認知思維分為記憶、理解、應(yīng)用、分析、評價和創(chuàng)造這六個層次，所以對于在線學(xué)習行為數(shù)據(jù)特征的抽象采取兩個層次，第一層是low level特征，它主要包括登錄時間、學(xué)習時間、學(xué)習次數(shù)、選擇的知識點、討論次數(shù)、提問次數(shù)、回答問題次數(shù)、解決疑問次數(shù)、完成測驗的時間、完成測驗的成功率、作業(yè)得分等，用Ulow={x1,x2,…,xn}表示。第二層是high level特征，主要包括作業(yè)完成程度、作業(yè)完成的準確率、學(xué)習問題提出的質(zhì)量、回答問題的質(zhì)量、解決問題的方案質(zhì)量等，用Uhigh={y1,y2,…,yn}表示。每個樣本又可進一步劃分為多維特征，例如xi=(xi1,xi2,…,xin)，yi=(yi1,yi2,…,yin)，其中每一個分量代表學(xué)習活動的一種特性，如登錄次數(shù)、學(xué)習時間等。

獲得多維數(shù)據(jù)之后，就可以利用聚類算法來對需要的數(shù)據(jù)特征進行劃分，具體算法如圖1所示。

圖1 學(xué)習數(shù)據(jù)特征的聚類流程

1.2 聚類數(shù)據(jù)的特征提取方式

聚類數(shù)據(jù)的特征提取采取基于DNN的隱馬爾可夫模型[14-15]，它是一個包含多個隱層的前向神經(jīng)網(wǎng)絡(luò)，輸入層表示聚類數(shù)據(jù)的底層特征，輸出層表示降維之后的典型特征，在隱層中每個節(jié)點的非線性激活函數(shù)采用sigmod，每個節(jié)點的非線性輸出值為：

(1)

DNN訓(xùn)練參數(shù)通過BP網(wǎng)絡(luò)傳播算法進行迭代訓(xùn)練獲得，如式2所示：

(2)

初始網(wǎng)絡(luò)參數(shù)通過RBM受限玻爾茲曼機進行初始化，如式3所示：

(3)

文中采用深度神經(jīng)網(wǎng)絡(luò)建模單元為基本單位，如圖2所示，每個多維特征拆分為三個HMM狀態(tài)，所有多維特征HMM狀態(tài)與DNN輸出層的各個節(jié)點一一對應(yīng)。實驗中采用8維的特征作為輸入，采用5個隱層，每個隱層是1 024個節(jié)點。

圖2 用于特征識別的深度神經(jīng)網(wǎng)絡(luò)

如圖2所示，深度神經(jīng)網(wǎng)絡(luò)的輸入是學(xué)習活動數(shù)據(jù)，輸出對應(yīng)降維后進行清洗之后的關(guān)鍵典型特征，通過神經(jīng)網(wǎng)絡(luò)的分層處理之后增強特征的區(qū)分度，一些區(qū)分度比較差不利用突出學(xué)習者特點的特征量被隱層處理，這樣可以保證最后提取出來的特征在大幅降低維數(shù)的同時保持最大的區(qū)分度。深度神經(jīng)網(wǎng)絡(luò)各隱層節(jié)點的激活與否主要由節(jié)點的輸出值確定，為了使特征分布更加近似于高斯分布，文中采用隱層輸出值取平均值，以使得特征輸出接近高斯分布，如圖3所示。

圖3 深度神經(jīng)網(wǎng)絡(luò)隱層多維度向量平均輸出

(4)

其中，hi,L為第i個特征在第L層上的非線性輸出矢量，將每一個隱層特征求取均值作為該特征的網(wǎng)絡(luò)特征，如式5所示：

(5)

為了得到隱層均值特征中的有效特征分量，利用式6得到最終降維之后的有效特征。

E=Hi,t-F

(6)

2 實驗分析

實驗以國內(nèi)某著名視頻教學(xué)網(wǎng)站為測試平臺，對900個學(xué)生在平臺上的學(xué)習活動記錄進行對照分析。首先按照學(xué)習能力層次將實驗樣本劃分為初級、中級、高級三個組別，每個組別包括300個學(xué)生對5門在線課程的某個知識點在一個月內(nèi)的學(xué)習活動記錄。原始特征向量為32維，能夠從各個方面對參與測試的學(xué)習者在學(xué)習態(tài)度、效率、過程等方面進行全面的評估。每個測試組隨機選取80個學(xué)習者作為有標記樣本，再根據(jù)樣本的學(xué)習應(yīng)用能力將其分為六個不同層次。首先對每個組進行聚類，設(shè)置K的值為6。從每個聚類數(shù)據(jù)中抽取30個樣本組成30×6=180個樣本的測試集。訓(xùn)練完成后測試集中的180個樣本再由深度神經(jīng)網(wǎng)絡(luò)處理降維得到典型特征，獲取評價結(jié)果。與此同時，這180個樣本也由人工完成評價，以此作為學(xué)習評價的誤差依據(jù)。經(jīng)過聚類之后的結(jié)果如圖4所示。

從圖4可以看出，不同課程的知識點對于不同層次的學(xué)習者基本上都是呈現(xiàn)正態(tài)分布的模式，不論學(xué)習者的能力程度如何，對于課程的知識點的掌握基本都符合同樣的原則。由于各門課程的難度系數(shù)不一樣，所以不同的課程也表現(xiàn)出不同的區(qū)分度，例如，可以發(fā)現(xiàn)中級組和高級組的分布狀態(tài)和樣式基本上一致，而初級組的分布情況則和其他兩組有明顯的區(qū)別。這說明對于現(xiàn)有測試的五門課程來說，入門程度的高低對于學(xué)習者后期學(xué)習行為的建立還是具有一定的影響。

圖5表示對于學(xué)習每門課程在不同組別的表現(xiàn)曲線，主要表示不同課程知識點學(xué)習的聚類結(jié)果。從圖(a)看出，由于《web技術(shù)基礎(chǔ)》課程對學(xué)習者的前導(dǎo)知識要求并不是很高，知識點簡單，因此初級組都超過了中級組和高級組，這可能和學(xué)習者學(xué)習的心態(tài)有關(guān)。圖(b)和圖(c)這兩門課程對前導(dǎo)知識的要求較高，需要具備一定的計算機和數(shù)學(xué)基礎(chǔ)，所以可以發(fā)現(xiàn)高級組的學(xué)生對于知識點的把握明顯優(yōu)于其他兩組。而圖(d)和圖(e)由于都是程序設(shè)計類課程，學(xué)習的知識點大同小異，難度相當，所以表現(xiàn)的曲線也是基本相似，但是很明顯能夠看出初級組對于知識點的掌握與其他兩組相比還是有不小的差距?？梢钥闯觯呒壗M樣本的學(xué)習能力和行為明顯高于中級組和初級組，這和學(xué)習者前期的學(xué)習經(jīng)歷、知識積累、學(xué)習習慣、理解能力等方面都有關(guān)系，這也說明學(xué)習能力的高低是一個循序漸進的培養(yǎng)過程。

為了進一步衡量本實驗評價方法的準確性，引入了人工專家評審的方法與機器學(xué)習評價的方法進行對比。選取本專業(yè)有經(jīng)驗的教師對每門課程的知識點依照不同層次的組別進行評價，人工評價方法的主要依據(jù)仍然沿用傳統(tǒng)的方法，例如：上課考勤率、作業(yè)完成率、完成質(zhì)量、測試成績、項目能力等容易量化的指標，為保證統(tǒng)計公平，設(shè)定所有的人工專家都具有一樣的權(quán)重。統(tǒng)計分析的結(jié)果如圖6所示。從圖中可以看出，高級組由于學(xué)習背景和能力的優(yōu)勢，曲線略微與其他級別組和人工組有所變化，而初級組和中級組與人工評審得到的曲線高度一致，說明機器學(xué)習評價的方法能夠真實反映人類對學(xué)習效果的評價標準。

圖6 人工專家評價與機器統(tǒng)計評價的結(jié)果對比

3 結(jié)束語

信息技術(shù)的發(fā)展必然會帶來傳統(tǒng)學(xué)習方式根本性的變化，如何有效利用網(wǎng)絡(luò)在線學(xué)習平臺產(chǎn)生的海量數(shù)據(jù)，對學(xué)習用戶產(chǎn)生個性化的準確學(xué)習行為評價，讓學(xué)習者更好地了解自己的學(xué)習狀態(tài)和行為狀態(tài)，真正實現(xiàn)學(xué)習方式的“有的放矢”和“因材施教”。文中使用機器學(xué)習的方式對網(wǎng)絡(luò)平臺產(chǎn)生的用戶數(shù)據(jù)進行特征分類，再通過深度神經(jīng)網(wǎng)絡(luò)對特征數(shù)據(jù)進行降維后提取典型特征，這樣既可以降低訓(xùn)練的計算代價，又能夠保證進行訓(xùn)練的特征最能夠體現(xiàn)學(xué)習者個性學(xué)習的特點。從實驗結(jié)果來看，機器學(xué)習得到的評價結(jié)果與人工專家評審得到的評價結(jié)果基本一致，這說明在數(shù)據(jù)量保證的前提下，機器評價可以替代人工評價，而且機器評價更具有客觀性、對比性。但是從目前最新的研究結(jié)果來看，深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中會出現(xiàn)梯度不穩(wěn)定的現(xiàn)象，這種現(xiàn)象的存在會影響到神經(jīng)網(wǎng)絡(luò)性能的表現(xiàn)[16]。下一步的研究可以考慮引進不同的學(xué)習方式來對學(xué)習數(shù)據(jù)進行分析，以期得到更加普適的個性化學(xué)習評價方式。