基于學(xué)生畫像的個(gè)性化深度學(xué)習(xí)算法推薦模型的研究

李欣 張桂花 四川大學(xué)錦城學(xué)院

關(guān)鍵字：智能教育 ALS 算法 卷積神經(jīng)網(wǎng)絡(luò) 個(gè)性化推薦

1 引言

我們處在知識(shí)數(shù)據(jù)爆炸大數(shù)據(jù)的時(shí)代，機(jī)器學(xué)習(xí)乃至深度學(xué)習(xí)算法在互聯(lián)、電商、金融、零售等領(lǐng)域都有較為成熟的應(yīng)用，隨著學(xué)校信息化的日趨完善，以及智能教育政策風(fēng)向，機(jī)器學(xué)習(xí)深度學(xué)習(xí)在教育領(lǐng)域的迫切應(yīng)用需求、未來發(fā)展趨勢躍然紙上。近日，科技部新一代人工智能發(fā)展研究中心和羅蘭貝格管理咨詢公司聯(lián)合發(fā)布《智能教育創(chuàng)新應(yīng)用發(fā)展報(bào)告》指出，智能教育當(dāng)前已經(jīng)從教育輔助向價(jià)值創(chuàng)造階段過渡，未來有望在自適應(yīng)學(xué)習(xí)、自適應(yīng)互動(dòng)課等應(yīng)用上有所突破，進(jìn)而進(jìn)階到具備認(rèn)知與強(qiáng)交互能力，以自適應(yīng)學(xué)習(xí)為代表的因材施教階段。在此“智能+”的大背景下，作為教育的重要組成部分高等教育，承擔(dān)著重要的角色和責(zé)任，如何將智能教育引入線下的AI 課堂，進(jìn)行智能評(píng)測、學(xué)生作業(yè)的錯(cuò)因診斷、課堂教學(xué)質(zhì)量的評(píng)估及推薦個(gè)性化的學(xué)習(xí)路徑，是新時(shí)代教育工作要關(guān)注的重點(diǎn)和核心。本文已某高校智慧化校園信息集成數(shù)據(jù)為基礎(chǔ)，分析學(xué)生在校期間的各項(xiàng)表現(xiàn)及行為習(xí)慣等結(jié)構(gòu)化數(shù)據(jù)，結(jié)合NLP 及OCR 等技術(shù)處理非結(jié)構(gòu)化的文本和圖像采集數(shù)據(jù)，進(jìn)而構(gòu)建完備的學(xué)生畫像指標(biāo)，利用ALS 推薦算法和深度學(xué)習(xí)算法構(gòu)建學(xué)習(xí)訓(xùn)練模型，為其推薦個(gè)性化的學(xué)習(xí)路徑及培養(yǎng)方案。

2 模型構(gòu)建整體框架

本模型構(gòu)建的難點(diǎn)是完備學(xué)生畫像的構(gòu)建，及基于學(xué)生畫像利用推薦算法和深度學(xué)習(xí)的方法進(jìn)行學(xué)習(xí)訓(xùn)練，最終形成適合學(xué)生發(fā)展的千人千面的個(gè)性化的培養(yǎng)路徑及培養(yǎng)方案。

模型構(gòu)建整體框架，通過對(duì)學(xué)校信息系統(tǒng)、在線學(xué)習(xí)平臺(tái)、智能采集設(shè)備等多維度多渠道采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理篩選出復(fù)合要求的訓(xùn)練集數(shù)據(jù)，利用深度學(xué)習(xí)CNN 算法與ALS 推薦系統(tǒng)進(jìn)行模型訓(xùn)練，將不同渠道的算法進(jìn)行融合形成最終的推薦結(jié)果。訓(xùn)練后算法融合環(huán)節(jié)要進(jìn)行模型評(píng)估，泛化評(píng)估結(jié)果正反饋的數(shù)據(jù)用來自我學(xué)習(xí)并優(yōu)化數(shù)據(jù)集，分析泛化評(píng)估負(fù)反饋數(shù)據(jù)并進(jìn)行模型優(yōu)化改進(jìn)。

2.1 有效的數(shù)據(jù)原采集

為精準(zhǔn)刻畫學(xué)生畫像，我們從不同渠道采集學(xué)生的學(xué)情數(shù)據(jù)，在智慧校園信息系統(tǒng)中，我們采集了學(xué)生的歷史學(xué)習(xí)成績、家庭背景、高考成績等，分析大學(xué)期間成長變化及家庭影響因素；在學(xué)校慕課教育平臺(tái)上，采集學(xué)生在線學(xué)習(xí)情況，分析學(xué)生的學(xué)習(xí)習(xí)慣，作業(yè)的易錯(cuò)點(diǎn)、作業(yè)完成習(xí)慣、自學(xué)能力、學(xué)習(xí)風(fēng)格等；通過智能設(shè)備采集學(xué)生課堂表現(xiàn)及對(duì)知識(shí)點(diǎn)的面部學(xué)習(xí)反應(yīng)；通過圖書館借閱、一卡通消費(fèi)、門禁等數(shù)據(jù)全方位多維度的刻畫學(xué)生在校行為習(xí)慣。

2.2 有效指標(biāo)的梳理

為了進(jìn)行有效的指標(biāo)加工，我們要對(duì)前期采集的學(xué)生數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，檢查數(shù)據(jù)缺失值、冗余、不一致、噪聲等質(zhì)量情況，使采集的學(xué)情數(shù)據(jù)清晰可用。數(shù)據(jù)預(yù)處理是模型構(gòu)建的重要環(huán)節(jié)，包括數(shù)據(jù)的清洗、數(shù)據(jù)的集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約。本模型在數(shù)據(jù)缺失值處理方面重點(diǎn)采用牛頓差值法進(jìn)行差值擬合處理。插值方法的優(yōu)點(diǎn)是依賴樣本點(diǎn)內(nèi)部的數(shù)據(jù)特點(diǎn)，使缺失值近似符合變量原有特征。在利用差值法的同時(shí)，我們也結(jié)合了傳統(tǒng)的缺失值的填充方式，如利用中值、眾數(shù)、中位數(shù)等體現(xiàn)集中趨勢度的指標(biāo)，是對(duì)數(shù)據(jù)缺失值的處理最大程度的科學(xué)合理。

本模型輸入的指標(biāo)加工，我們從體現(xiàn)時(shí)間顆粒度的縱軸和體現(xiàn)空間顆粒度的橫軸進(jìn)行分別加工，形成笛卡爾積，從形成滿足深度學(xué)習(xí)框架訓(xùn)練的輸入特征集合。橫軸的時(shí)間顆粒度主要從學(xué)年、月、周等時(shí)間維度進(jìn)行分割；縱軸的空間顆粒度主要從地域、學(xué)院、班級(jí)等空間維度進(jìn)行分割。使得輸入特征的加工處理維度豐富全面。

2.3 非結(jié)構(gòu)化指標(biāo)的處理

非結(jié)構(gòu)化指標(biāo)的處理是模型的關(guān)鍵點(diǎn)，在學(xué)校的在線教育平臺(tái)上，我們能夠收集到大量的文本信息如學(xué)生的課程論文、問題疑惑等的反饋；同時(shí)在各個(gè)授課教室通過智能設(shè)備可以采集到同學(xué)上的狀態(tài)及學(xué)習(xí)知識(shí)的面部表情等圖像資料。對(duì)于文本數(shù)據(jù)和圖像數(shù)據(jù)的處理需要結(jié)合當(dāng)下熱門的NLP 自然語言處理基礎(chǔ)和OCR 圖像識(shí)別技術(shù)進(jìn)行處理加工，使得非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為合理的結(jié)構(gòu)化指標(biāo)。

在模型的整體構(gòu)建過程中，精準(zhǔn)的學(xué)生畫像是模型訓(xùn)練學(xué)習(xí)的基礎(chǔ)，建模過程中要通過科學(xué)有效的數(shù)據(jù)采集，力求建立綜合系統(tǒng)化的指標(biāo)體系。

3 ALS 推薦算法和深度學(xué)習(xí)算法簡介

在大數(shù)據(jù)挖掘分析的前提下，基于矩陣的分解的ALS 推薦算法具有較好的效果，這種ALS 算法不像基于用戶或者基于物品的協(xié)同過濾算法，通過計(jì)算相似度來進(jìn)行評(píng)分預(yù)測和推薦，而是通過矩陣分解的方法來進(jìn)行預(yù)測用戶對(duì)物品的評(píng)分。

因此可以通過數(shù)據(jù)集中的數(shù)據(jù)構(gòu)建用戶評(píng)分矩陣，但是往往用戶的評(píng)分不會(huì)填滿所有的矩陣，因此就需要通過矩陣分解的方法，將矩陣X 分解為AB，也即盡量滿足X=AB 這個(gè)等式，其中A 為用戶因子矩陣即學(xué)生特征因子矩陣，B 為物品因子矩陣即學(xué)習(xí)路徑因子矩陣。ALS 算法中用交替最小二乘法求損失函數(shù)的最小值，通過首先隨機(jī)化矩陣A，然后通過目標(biāo)函數(shù)求得B，再對(duì)B 進(jìn)行歸一化處理后，再去求A，不斷地迭代下去，直到AB 滿足一定的收斂條件為止?；趯W(xué)生畫像的ALS 推薦模型輸入三元組的評(píng)分部分，采用對(duì)學(xué)習(xí)路徑的隱式反饋方法進(jìn)行構(gòu)建。

為實(shí)現(xiàn)多維度模型校準(zhǔn)及融合，推薦模型了采用深度學(xué)習(xí)算法卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行個(gè)性化學(xué)習(xí)路徑的模型訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。CNN 網(wǎng)絡(luò)一般來說，包括五個(gè)部分：輸入層 INPUT、卷積層 CONV、激活函數(shù)層 RELU、池化層 POOL、全連接層 FC。不能簡單地理解所有的卷積網(wǎng)絡(luò)都是只有五層，對(duì)于大部分卷積網(wǎng)絡(luò)，都會(huì)交替地用到中間地四層結(jié)構(gòu)，也就是呈現(xiàn)出一種 卷積層-激活函數(shù)層-池化層-卷積層-激活函數(shù)層-池化層…地交替結(jié)構(gòu)，使用形式可以根據(jù)模型訓(xùn)練需要如精度、數(shù)據(jù)量、輸入特征的數(shù)量等進(jìn)行調(diào)節(jié)控制。

在學(xué)習(xí)路徑推薦的目標(biāo)列為了充分的利用CNN 算法進(jìn)行訓(xùn)練，我們對(duì)目標(biāo)變量的眾多學(xué)習(xí)路徑進(jìn)行了概念分層的泛化處理，使得模型輸入的訓(xùn)練樣本等到適當(dāng)?shù)钠胶鈴亩玫匠浞值穆窂酵扑]結(jié)果訓(xùn)練。

4 模型評(píng)估及自我學(xué)習(xí)

模型的評(píng)估是決定模型質(zhì)量的關(guān)鍵環(huán)節(jié)對(duì)ALS 算法的評(píng)估采用RMSE 方法進(jìn)行模型計(jì)算評(píng)估，他很好的評(píng)估了預(yù)測值和真值之間的偏差。

對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果，模型使用準(zhǔn)確率和召回率及繪制ROC曲線評(píng)估深度學(xué)習(xí)推薦效果，評(píng)估在訓(xùn)練樣本集內(nèi)的推薦合理性。在模型泛化能力的評(píng)估過程中，分析不合理的個(gè)性化學(xué)習(xí)路徑優(yōu)化畫像指標(biāo)調(diào)整模型參數(shù)；將推薦合理的個(gè)性化學(xué)習(xí)路徑（新樣本）用作訓(xùn)練樣本的擴(kuò)種，通過實(shí)時(shí)持續(xù)的樣本擴(kuò)充實(shí)現(xiàn)模型更新迭代和自我學(xué)習(xí)。

5 結(jié)束語

本文基于多維度的學(xué)生畫像指標(biāo)，利用ALS 算法和卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建個(gè)性化推薦學(xué)習(xí)路徑及培養(yǎng)方案模型，從而實(shí)現(xiàn)了結(jié)合學(xué)生自身特點(diǎn)的千人千面的個(gè)性智能教育推薦。構(gòu)建豐富的學(xué)生畫像維度顯得尤為重要和關(guān)鍵，目前我們絕大多數(shù)的數(shù)據(jù)來源于高校信息系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的使用并不充分，對(duì)文本、圖像的深層次挖掘不足，對(duì)智能終端設(shè)備的采集不足，比如通過智能終端采集腦電波的反應(yīng)（興奮或者遲緩）從而挖掘不同個(gè)體的學(xué)習(xí)風(fēng)格，對(duì)非結(jié)構(gòu)化的數(shù)據(jù)的應(yīng)用探索，是模型進(jìn)一步的優(yōu)化方向，從而提升對(duì)每個(gè)學(xué)習(xí)的精準(zhǔn)推薦。