基于強(qiáng)化學(xué)習(xí)的隨機(jī)森林困難等級(jí)分類算法

摘要：學(xué)生資助以“家庭經(jīng)濟(jì)困難學(xué)生的資助全覆蓋且無遺漏”為工作目標(biāo)，并重點(diǎn)幫助特困學(xué)生順利完成學(xué)業(yè)。在智慧校園平臺(tái)的基礎(chǔ)上，文章提出一種基于強(qiáng)化學(xué)習(xí)的代價(jià)敏感困難學(xué)生等級(jí)分類算法，將非平衡數(shù)據(jù)的代價(jià)敏感特性引入隨機(jī)森林的生成過程，使用強(qiáng)化學(xué)習(xí)的累計(jì)回報(bào)系數(shù)影響CART決策樹在屬性分裂時(shí)的選取，實(shí)現(xiàn)同時(shí)提升困難學(xué)生整體分類準(zhǔn)確率和特困學(xué)生類別分類準(zhǔn)確率的效果。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有困難學(xué)生等級(jí)分類算法相比，該算法在困難學(xué)生整體分類和特困學(xué)生類別分類的準(zhǔn)確率上處理效果均較理想。

關(guān)鍵詞：困難學(xué)生；隨機(jī)森林；深度學(xué)習(xí)；代價(jià)敏感

中圖分類號(hào)：TP311.13文獻(xiàn)標(biāo)志碼：A

0引言

困難學(xué)生認(rèn)定和困難等級(jí)分類一直是學(xué)生資助工作中比較重要且較難精準(zhǔn)識(shí)別的部分。在每一學(xué)年伊始，各高校均要完成家庭經(jīng)濟(jì)困難學(xué)生認(rèn)定，傳統(tǒng)的工作方法是讓學(xué)生填寫各種紙質(zhì)表格，上交相關(guān)困難佐證材料，再通過家訪、個(gè)別訪談、信函索證、量化評(píng)估、民主評(píng)議等多種方式開展家庭經(jīng)濟(jì)困難學(xué)生認(rèn)定工作，因此困難認(rèn)定和困難等級(jí)分類的結(jié)果在很大程度上與輔導(dǎo)員對(duì)學(xué)生的了解程度及主觀態(tài)度有直接關(guān)系。目前，隨著大數(shù)據(jù)和人工智能等技術(shù)的發(fā)展，越來越多的學(xué)者將數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)應(yīng)用于困難學(xué)生識(shí)別和困難等級(jí)分類等工作中開展研究，主要的經(jīng)典算法包括關(guān)聯(lián)規(guī)則、聚類、神經(jīng)網(wǎng)絡(luò)、決策樹、隨機(jī)森林等。這些算法一般是基于數(shù)據(jù)較為均勻的平衡數(shù)據(jù)集進(jìn)行分析的，但困難學(xué)生數(shù)據(jù)往往存在不平衡的特點(diǎn)，其不平衡特點(diǎn)體現(xiàn)在特困學(xué)生的占比較小，一般困難類和困難類學(xué)生的占比較多。若特困學(xué)生被錯(cuò)誤分為一般困難或困難類別，對(duì)整體的分類精確率不會(huì)有太大影響，但這類特困學(xué)生是困難學(xué)生群體中最需要救助和幫扶的一部分。因此特困學(xué)生分類對(duì)于學(xué)生資助工作而言是非常重要并且不能忽略的部分。傳統(tǒng)機(jī)器學(xué)習(xí)的分類方法一般追求總體的分類精準(zhǔn)率而忽略少數(shù)比較重要類別的準(zhǔn)確率，對(duì)于困難學(xué)生的困難等級(jí)分類效果不理想。若所用算法忽略了此類學(xué)生，將會(huì)導(dǎo)致特困學(xué)生得不到及時(shí)資助或者所獲資助資金減少，這就造成了資助的不公平，在很大程度上影響了特困學(xué)生的學(xué)習(xí)和生活。特困學(xué)生甚至?xí)驗(yàn)榻?jīng)濟(jì)問題，無法專注于學(xué)習(xí)，或萌生退學(xué)或休學(xué)的想法。

Leo［1］提出了隨機(jī)森林算法，其是一種集成學(xué)習(xí)算法，其核心思想在于構(gòu)建一個(gè)由諸多決策樹組成的“森林”，每個(gè)決策樹都是獨(dú)立訓(xùn)練的，并且在預(yù)測(cè)分類結(jié)果時(shí)其判斷結(jié)果會(huì)被綜合起來以得出最終的結(jié)果。這種方法有效地減少了單一決策樹可能出現(xiàn)的高誤差和過擬合問題。2019年，馬曉君等［2］基于粒子群算法優(yōu)化加權(quán)隨機(jī)森林模型，并將其應(yīng)用于企業(yè)信用評(píng)級(jí)領(lǐng)域，經(jīng)實(shí)驗(yàn)證明了算法具有較高的預(yù)測(cè)精度。2020年，朱瑛等［3］基于計(jì)算節(jié)點(diǎn)匹配代價(jià)的方法對(duì)隨機(jī)森林進(jìn)行優(yōu)化，并以Kappa系數(shù)為權(quán)重對(duì)新隨機(jī)森林中每棵決策樹進(jìn)行加權(quán)處理，提高了隨機(jī)森林算法的預(yù)測(cè)精度。為了提高不平衡數(shù)據(jù)中重要類別的分類準(zhǔn)確率，本文采用基于強(qiáng)化學(xué)習(xí)的隨機(jī)森林困難等級(jí)分類算法，將錯(cuò)分的代價(jià)影響因子引入不平衡數(shù)據(jù)分類的過程，使用強(qiáng)化學(xué)習(xí)理論中累計(jì)回報(bào)系數(shù)影響“森林”中決策樹的生長(zhǎng)，從而達(dá)到提高特困學(xué)生分類準(zhǔn)確率的目的。

1代價(jià)敏感理論

傳統(tǒng)的分類方法認(rèn)為數(shù)據(jù)集中各個(gè)類別的數(shù)據(jù)是均勻分布的，也稱為平衡數(shù)據(jù)集，并將正樣本和負(fù)樣本錯(cuò)誤分類帶來的代碼認(rèn)為是相等的。不平衡數(shù)據(jù)是指在數(shù)據(jù)集中的不同類別樣本的數(shù)據(jù)量存在不平衡的情況，數(shù)量上存在較大差異，某些類別的樣本數(shù)量較少被稱為正樣本，這些數(shù)據(jù)集樣本往往具有代價(jià)敏感性，即正樣品被錯(cuò)分所帶來的代價(jià)較大。困難學(xué)生的數(shù)據(jù)樣本存在典型的代價(jià)敏感特性，困難學(xué)生中的特困學(xué)生在總體樣本中往往數(shù)量偏少，但這部分學(xué)生是更需要關(guān)注和資助的群體。特困學(xué)生的分類結(jié)果在整體數(shù)據(jù)分析結(jié)果中至關(guān)重要。在資助工作中，針對(duì)特困學(xué)生群體，學(xué)校應(yīng)給予更多比例的資助資金和關(guān)心關(guān)愛。若采用傳統(tǒng)基于平衡數(shù)據(jù)集的分類算法進(jìn)行分析，將導(dǎo)致無法精準(zhǔn)識(shí)別這類特困學(xué)生，且其及時(shí)資助受到影響。在數(shù)據(jù)分類過程中，引入錯(cuò)分代價(jià)矩陣能夠提高正樣本的錯(cuò)分代價(jià)，以提高正樣本對(duì)整體分類準(zhǔn)確率的影響，因此，本文提出基于困難等級(jí)分類的代價(jià)敏感矩陣［4］。在生成決策樹的過程中，本文使用屬性A作為決策樹分類節(jié)點(diǎn)屬性的整體誤分代價(jià)，如式（1）所式。

CA=∑2i=0

j=0Cij（1）

特別困難類、困難類和一般困難類3個(gè)類別形成的錯(cuò)分代價(jià)矩陣如表1所示。

代價(jià)敏感學(xué)習(xí)的思想是增加誤分正樣本在訓(xùn)練集中的權(quán)重，從而提高分類器對(duì)正樣本的準(zhǔn)確率的影響。本文提高特困學(xué)生的誤分代價(jià)，當(dāng)特困學(xué)生被錯(cuò)分時(shí)，雖然該類別數(shù)量占比較少，但系統(tǒng)得到的代價(jià)反饋得到保持，從而不會(huì)影響整體的分類效果。

2強(qiáng)化學(xué)習(xí)理論

強(qiáng)化學(xué)習(xí)的原理是根據(jù)當(dāng)前學(xué)習(xí)環(huán)境的影響，綜合分析各種影響所造成的結(jié)果，即回報(bào)信息，從而決策得出最佳的動(dòng)作，并對(duì)學(xué)習(xí)方法作出相應(yīng)地調(diào)整，實(shí)現(xiàn)自我優(yōu)化，達(dá)到提高分類預(yù)測(cè)準(zhǔn)確率的目標(biāo)。目前比較成熟的理論有馬爾科夫決策過程（Markov Decision Process，MDP）［5］，它是一個(gè)隨機(jī)過程，系統(tǒng)的下一個(gè)狀態(tài)僅依賴于當(dāng)前狀態(tài)，而與以前的歷史狀態(tài)無關(guān)。MDP表達(dá)式為：

MDP=lt;S，A，P，Rgt;（2）

其中，S代表狀態(tài)集合；A代表動(dòng)作集合；P代表狀態(tài)轉(zhuǎn)移概率矩陣，由在一個(gè)狀態(tài)執(zhí)行某個(gè)動(dòng)作后轉(zhuǎn)移到其他狀態(tài)的概率組成；R代表在一個(gè)狀態(tài)下執(zhí)行某個(gè)動(dòng)作后得到的回報(bào)函數(shù)［6-7］。根據(jù)當(dāng)前的狀態(tài)和回報(bào)函數(shù)，系統(tǒng)在動(dòng)作集合中選擇最優(yōu)的動(dòng)作。在與環(huán)境交互的過程中，智能體利用狀態(tài)轉(zhuǎn)移概率來規(guī)劃行動(dòng)策略，以獲得最大化累積獎(jiǎng)勵(lì)［8］。本文算法的設(shè)計(jì)思想是將非平衡數(shù)據(jù)的錯(cuò)分代價(jià)特性引入回報(bào)函數(shù)中，作為決策樹屬性選擇的影響因素。

3基于強(qiáng)化學(xué)習(xí)的隨機(jī)森林困難等級(jí)分類算法

3.1基于貧困等級(jí)分類的累計(jì)回報(bào)系數(shù)

將困難學(xué)生的樣本數(shù)據(jù)通過分類模型預(yù)測(cè)，得到的最終分類結(jié)果如表2所示。表中，T、F表示樣本的數(shù)量，Tii表示將實(shí)際為i類的樣本正確地分類為i類的樣本數(shù)量，F(xiàn)ij表示實(shí)際為i類但被錯(cuò)誤地分類為j類的樣本數(shù)量。

在困難等級(jí)分類過程中，學(xué)校資助管理部門對(duì)特別困難類別的學(xué)生更加關(guān)注，故在建模的過程中單獨(dú)納入特別困難類準(zhǔn)確率為：

TP=T00T00+F01+F02（3）

困難等級(jí)整體準(zhǔn)確率為：

Acc（0）=T00+T11+T22N（4）

其中，N為所有困難學(xué)生樣本的總和。RMS為3個(gè)列表準(zhǔn)確率的加權(quán)均方根，其表達(dá)式如式（5）所示。

RMS=T00T00+F01+F02w02+T11F10+T11+F12w12+T22F20+F21+T22w223（5）

決策樹是用于樣本分類和回歸的經(jīng)典算法，模仿了人類的決策過程。決策樹算法以貪心算法為基本原則，自上而下地選擇當(dāng)前節(jié)點(diǎn)選擇最有利的分類規(guī)則，將數(shù)據(jù)集在不同分裂節(jié)點(diǎn)根據(jù)不同規(guī)則劃分為不同類別，從而形成一個(gè)樹形結(jié)構(gòu)模型，并用于預(yù)測(cè)新樣本類別。不同決策樹算法最佳分類樹形的選擇策略不同，ID3算法、C4.5是以信息增益、信息增益率作為屬性選擇的依據(jù)。CART決策樹算法使用Gini指數(shù)作為分裂屬性的選擇標(biāo)準(zhǔn)［9］。

隨機(jī)森林是一種集成的學(xué)習(xí)算法，通過隨機(jī)抽取樣本生成多棵決策樹，這些決策樹組成了“森林”，每一棵決策樹都是一個(gè)分類器，將對(duì)新樣本產(chǎn)生一個(gè)分類結(jié)果，隨機(jī)森林集成了所有樹的投票結(jié)果，將投票次數(shù)最多的分類結(jié)果作為隨機(jī)森林的最終分類結(jié)果。由于每棵樹通過不同的樣本和特征生成，可以防止過度擬合的情況，隨機(jī)森林的魯棒性和預(yù)測(cè)準(zhǔn)確性更強(qiáng)［10］。隨機(jī)森林中最重要的單元是決策樹，本文采用CART決策樹作為基本單元。

CART決策樹的Gini指數(shù)最早來源于經(jīng)濟(jì)學(xué)，用于衡量分配是否公平，CART決策樹中的Gini指數(shù)表示數(shù)據(jù)的純度和確定性，也表示集合中樣本被錯(cuò)分的概率，當(dāng)Gini指數(shù)越小時(shí)，這個(gè)數(shù)據(jù)集純度越高，樣本被錯(cuò)分的概論越小。經(jīng)典的CART決策樹算法計(jì)算出所有類別的Gini值，結(jié)合Gini值設(shè)計(jì)AS值，選擇AS最小的值作為最優(yōu)分裂屬性。決策樹第i層節(jié)點(diǎn)的累計(jì)回報(bào)系數(shù)由TP、ACC和RMS的積組成，其表達(dá)式為：

CR（i）=TP×ACC×RMS（6）

根據(jù)各層的累計(jì)回報(bào)系數(shù)計(jì)算出該屬性在當(dāng)前節(jié)點(diǎn)（第i層）的累計(jì)回報(bào)系數(shù)為：

CRi=CR（1）CR（2）…CR（i）（7）

3.2基于累計(jì)回報(bào)系數(shù)的屬性選擇策略

基于強(qiáng)化學(xué)習(xí)的隨機(jī)森林困難等級(jí)分類算法，本文在每一棵樹的第i層節(jié)點(diǎn)上，針對(duì)第j個(gè)屬性，計(jì)算建模樣本數(shù)據(jù)中選擇該屬性進(jìn)行分裂的TP、ACC和RMS，并結(jié)合之前1-i層計(jì)算累計(jì)回報(bào)系數(shù)CR，計(jì)算出基于強(qiáng)化學(xué)習(xí)累計(jì)回報(bào)的屬性AS值為：

AS=（2Gini-1）×C（A）CRi（8）

C（A）=∑nt=1C（i）（9）

其中，C（i）是使用屬于A作為決策樹分類節(jié)點(diǎn)屬性時(shí)的整體誤分代價(jià)。C（A）越小，決策樹分裂錯(cuò)誤的代價(jià)越小，馬爾可夫鏈的回報(bào)系數(shù)CRi越大，AS值越小，則決策樹的分裂效果越好。從決策樹的根節(jié)點(diǎn)開始，每一層選擇AS值最小的屬性作為分裂節(jié)點(diǎn)，逐層依據(jù)AS完成屬性的選擇，直到分裂至葉子節(jié)點(diǎn)，最終生成一棵基于強(qiáng)化學(xué)習(xí)的代價(jià)敏感決策樹。

本文通過隨機(jī)抽樣的方式提取樣本生成N棵基于強(qiáng)化學(xué)習(xí)的代價(jià)敏感決策樹，共同組成了隨機(jī)森林。在預(yù)測(cè)新樣本的類別時(shí)，每棵樹對(duì)新樣本預(yù)測(cè)分類結(jié)果進(jìn)行投票，將獲得票數(shù)最多的分類結(jié)果作為整個(gè)隨機(jī)森林對(duì)新樣本的預(yù)測(cè)結(jié)果。算法步驟如下：

（1）從樣本中隨機(jī)提取訓(xùn)練數(shù)據(jù)；

（2）從根節(jié)點(diǎn)開始生成Gini決策樹；

（3）計(jì)算每層TP、ACC和RMS，計(jì)算出AS值，選擇最優(yōu)分裂屬性；

（4）重復(fù)步驟（1）—（3），直至森林生成結(jié)束。

4實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)主要針對(duì)困難學(xué)生的數(shù)據(jù)進(jìn)行分類預(yù)測(cè)，故將本文算法與隨機(jī)森林、CART決策樹進(jìn)行比較。本文的實(shí)驗(yàn)數(shù)據(jù)提取自智慧校園平臺(tái)學(xué)生行為等相關(guān)數(shù)據(jù)，包括學(xué)生的一卡通消費(fèi)數(shù)據(jù)、門禁系統(tǒng)數(shù)據(jù)，學(xué)業(yè)數(shù)據(jù)、社交數(shù)據(jù)等［11-12］，具體內(nèi)容如表3所示。

隨著手機(jī)支付的普及，很多學(xué)生采用微信或者支付寶進(jìn)行購物，導(dǎo)致學(xué)生在學(xué)校使用一卡通消費(fèi)的數(shù)據(jù)減少，采用一卡通消費(fèi)數(shù)據(jù)作為特張指標(biāo)進(jìn)行分析將會(huì)出現(xiàn)偏差。本文采用人臉識(shí)別和表情分析技術(shù)，采集學(xué)生進(jìn)入食堂、寢室、超市、圖書館、洗衣房、體育館等場(chǎng)所的行為數(shù)據(jù)，提取出貧困學(xué)生在這些場(chǎng)所出現(xiàn)的頻次。

困難學(xué)生等級(jí)分類的實(shí)驗(yàn)結(jié)果如圖1—2所示。

本文算法將一般困難、困難和特別困難3個(gè)各類別的權(quán)重分別設(shè)置為：w1 =0.1；w2 =0.4；w3 =0.5。將數(shù)據(jù)源按隨機(jī)策略劃分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，訓(xùn)練數(shù)據(jù)占80%，測(cè)試數(shù)據(jù)占20%。按照往年獲得過助學(xué)金的學(xué)生設(shè)置家庭經(jīng)濟(jì)困難學(xué)生等級(jí)標(biāo)簽。實(shí)驗(yàn)表明，由圖1可知，本文算法處理后的困難學(xué)生整體分類準(zhǔn)確率和特困類別的準(zhǔn)確率分別為89.3%和92.6%；由圖2可知，本文算法的總體準(zhǔn)確率為92.6%，均普遍高于其他2種算法，這說明特困學(xué)生類別分類準(zhǔn)確率得以有效提升［13］。

5結(jié)語

本文提出了一種基于強(qiáng)化學(xué)習(xí)的隨機(jī)森林困難等級(jí)分類算法。該算法首先引入代價(jià)敏感理論，將特困學(xué)生誤分為其他類別學(xué)生的情況賦予更大的錯(cuò)分代價(jià)；再引入馬爾可夫模型中，基于隨機(jī)森林算法每棵CART決策樹的生成過程，根據(jù)之前層次的累計(jì)回報(bào)系數(shù)計(jì)算當(dāng)前的累計(jì)回報(bào)系數(shù)，并將累計(jì)回報(bào)系數(shù)和整體錯(cuò)分代價(jià)引入當(dāng)前層級(jí)的屬性選擇依據(jù)；最后生成由基于深度學(xué)習(xí)的代價(jià)敏感CART決策樹組成的隨機(jī)森林。實(shí)驗(yàn)結(jié)果表明，所提算法能夠有效提高特困學(xué)生的分類準(zhǔn)確率。下一步，課題組將圍繞隨機(jī)森林對(duì)每棵樹分類結(jié)果的選取方法以及各個(gè)類別賦值的權(quán)重進(jìn)行系統(tǒng)研究。

參考文獻(xiàn)

［1］LEO B.Random forests.［J］.Machine Learning，2001（1）：5-32.

［2］馬曉君，董碧瀅，王常欣.一種基于PSO優(yōu)化加權(quán)隨機(jī)森林算法的上市公司信用評(píng)級(jí)模型設(shè)計(jì)［J］.數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究，2019（12）：165-182.

［3］朱瑛，謝睿，鄭若池.基于節(jié)點(diǎn)匹配代價(jià)優(yōu)化的隨機(jī)森林算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2020（11）：3106-3111.

［4］郭佳君，楊波，朱劍林，等.面向不平衡樣本的高校學(xué)生資助等級(jí)分類模型［J］.中南民族大學(xué)學(xué)報(bào)（自然科學(xué)版），2022（1）：101-108.

［5］孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2012（8）：2806-2810.

［6］胡凱，鄭翡，盧飛宇，等.基于深度學(xué)習(xí)的行為識(shí)別算法綜述［J］.南京信息工程大學(xué)學(xué)報(bào)，2021（6）：730-743.

［7］殷昌盛，楊若鵬，朱巍，等.多智能體分層強(qiáng)化學(xué)習(xí)綜述［J］.智能系統(tǒng)學(xué)報(bào)，2020（4）：646-655.

［8］胡鴻翔，梁錦，溫廣輝，等.多智能體系統(tǒng)的群集行為研究綜述［J］.南京信息工程大學(xué)學(xué)報(bào)，2018（4）：415-421.

［9］江國薦.基于SAE-LBP網(wǎng)頁分類的研究［D］.合肥：中國科學(xué)技術(shù)大學(xué)，2015.

［10］高藝文.基于多尺度面部特征的抑郁識(shí)別研究［D］.蘭州：蘭州大學(xué)，2021.

［11］王燁.高校學(xué)生資助管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)產(chǎn)品與流通，2019（3）：210.

［12］王益成，王萍.基于用戶動(dòng)態(tài)畫像的科技情報(bào)服務(wù)推薦模型構(gòu)建研究［J］.情報(bào)理論與實(shí)踐，2019（4）：83-88.

［13］李云.大數(shù)據(jù)分析技術(shù)及其在貧困生幫扶工作中的應(yīng)用研究［D］.貴陽：貴州大學(xué)，2018.

（編輯沈強(qiáng)編輯）

Random forest difficulty classification algorithm based on reinforcement learning

ZHU" Jing， SONG" Susu

（Chuzhou Polytechnic， Chuzhou 239000， China）

Abstract： The working goal of student financial assistance is “full coverage and no omission of financial assistance for students from poor families”， and it focuses on helping extremely poor students successfully complete their studies. Based on the smart campus platform， this paper proposes a classification algorithm for cost-sensitive students with difficulty based on reinforcement learning. The cost-sensitive characteristics of unbalanced data are introduced into the generation process of random forest， and the cumulative return coefficient of reinforcement learning is used to influence the selection of CART decision trees when the attributes are split， in order to achieve the effect of improving the overall classification accuracy of students with difficulties and the classification accuracy of students with special difficulties. The experimental results show that compared with the existing classification algorithms， the proposed algorithm is effective in both the overall classification of students with difficulty and the classification accuracy of students with extreme difficulty.

Key words： students from poor families; random forest; deep learning; cost sensitive