基于XGBoost算法的研究生入學(xué)預(yù)測

何葉子

摘 要：面對碩士研究生招生日益激烈的現(xiàn)狀，構(gòu)建一個高效的預(yù)測模型來預(yù)測學(xué)生被目標(biāo)院校錄取的概率，為學(xué)生選擇院校提供幫助。根據(jù)國外研究生的錄取條件，確定7個申請國外研究生時相對重要的評價指標(biāo)。基于國外研究生招生入學(xué)的樣本數(shù)據(jù)，采用XGBoost來建立研究生錄取的預(yù)測模型，將其預(yù)測結(jié)果與Logistic回歸、隨機森林的結(jié)果進(jìn)行比較分析。XGBoost模型正確率達(dá)到了87.43%，比Logistic回歸和隨機森林分別提高了6.9%、1.7%。

關(guān)鍵詞：預(yù)測;XGBoost算法;研究生入學(xué)

隨著大數(shù)據(jù)、人工智能新一代信息技術(shù)的深化研發(fā)與應(yīng)用，為解決當(dāng)前碩士研究生招生日益激烈的情況[1]，本文將機器學(xué)習(xí)的知識應(yīng)用到研究生入學(xué)領(lǐng)域中，通過構(gòu)建模型來預(yù)測學(xué)生被所目標(biāo)院校錄取的概率，為其擇校提供幫助。

鑒于國內(nèi)沒有公開統(tǒng)一的數(shù)據(jù)庫來管理大學(xué)生申請研究生的評價指標(biāo)和具體數(shù)據(jù)，為了科學(xué)地幫助學(xué)生結(jié)合個人情況，對獲取目標(biāo)大學(xué)研究生指標(biāo)有公平認(rèn)識，本文針對國外研究生入學(xué)的樣本數(shù)據(jù)，構(gòu)建了一個基于XGBoost算法的研究生錄取預(yù)測模型。實驗結(jié)果表明，該模型具有準(zhǔn)確率高、運行時間短的優(yōu)點。

1 預(yù)測模型

1.1 Logistic回歸

Logistic回歸一種是線性回歸，其核心思想是Sigmod函數(shù)，該函數(shù)能將任意實數(shù)值映射成[0，1]的概率值。在對特征和權(quán)重進(jìn)行線性回歸的基礎(chǔ)上，將其結(jié)果代入到，得到概率值。

1.2 隨機森林

隨機森林是一種基于Bootstraping的集成算法，首先在訓(xùn)練樣本數(shù)據(jù)集N中有放回地重復(fù)隨機抽取n個樣本，生成足以代表原始樣本分布的新樣本集合[2]。再從數(shù)據(jù)集的K個特征中隨機選取k個特征，根據(jù)Gini系數(shù)選擇出最佳分割特征，作為CART決策樹的結(jié)點。進(jìn)而重復(fù)上述步驟m次，得到m棵決策樹所組成的隨機森林。根據(jù)多顆決策樹共同執(zhí)行決策的預(yù)測結(jié)果，來代表最終預(yù)測的結(jié)果。

1.3 XGBoost

XGBoost是通過不斷增加分類樹，采用集成的思想，通過多個弱分類器的預(yù)測結(jié)果的組合，使整體預(yù)測效果提升。但隨著不斷加入決策樹，模型葉子結(jié)點過多，易出現(xiàn)過擬合的風(fēng)險[3]。因此，引入樹的正則化懲罰項，對每棵樹的預(yù)測結(jié)果賦予一定權(quán)重，來防止模型過擬合。最終目標(biāo)函數(shù)為每個樣本預(yù)測效果偏差值與每棵樹正則懲罰項之和。

2 實驗過程

2.1 數(shù)據(jù)來源與描述

本文首先確定7個申請國外研究生時被認(rèn)為重要的評價指標(biāo)，分別為GRE成績、托福成績、大學(xué)評級、目的陳述、推薦信、成績平均累積學(xué)分績點、研究經(jīng)歷，上述選取的指標(biāo)參考了加州大學(xué)洛杉磯分校的研究生招生指標(biāo)（https：//bioinformatics.ucla.edu/），具體各指標(biāo)描述信息見表1?；谏鲜鲋笜?biāo)，采用來源于Mohan S Acharya所提供的400個樣本數(shù)據(jù)。[4]（https：//www.kaggle.com/mohansacharya/graduate-admissions）。

2.2 數(shù)據(jù)探索與處理

通過計算相關(guān)系數(shù)并比較其值的大小，來觀察指標(biāo)之間的和各指標(biāo)與最終錄取機會之間的關(guān)聯(lián)程度，并通過可視化工具作圖進(jìn)行查看。結(jié)合圖1中兩圖，可以看到，CGPA、GRE成績、托福成績、大學(xué)評級與進(jìn)入大學(xué)的機會相關(guān)性較高。其它參數(shù)如SOP、LOR、Research對入學(xué)機會的影響較小。

參考近幾年國外高校的研究生錄取率，得出每年高校研究生招生的平均錄取率為6%，對錄取機會列的數(shù)據(jù)進(jìn)行篩選，將其中數(shù)據(jù)值大于且等于0.7的學(xué)生視為錄取，錄取結(jié)果的值標(biāo)記為1;反之標(biāo)記為0。為了防止構(gòu)建預(yù)測模型時出現(xiàn)過擬合的現(xiàn)象，將樣本數(shù)據(jù)分為訓(xùn)練集和測試集，分別占總樣本數(shù)據(jù)集的65%和35%。

2.3 實驗結(jié)果

本次實驗使用Python語言采用了Logistic回歸、隨機森林和XGBoost三種算法模型，對相同的樣本數(shù)據(jù)進(jìn)行實驗，將預(yù)測結(jié)果與實際數(shù)據(jù)進(jìn)行對比，分析三者的性能。各個模型的預(yù)測準(zhǔn)確率數(shù)值如表2所示。從表可以得出XGBoost相較于Logictic回歸和隨機森林，準(zhǔn)確率較高，運行時間較短。

3 結(jié)論

本文采用Mohan S Acharya提供的Admission_Predict數(shù)據(jù)集，基于XGBoost模型來預(yù)測樣本數(shù)據(jù)中學(xué)生的錄取機會概率值并根據(jù)實際設(shè)置錄取概率閾值，將錄取概率值進(jìn)行二分類，得出預(yù)測錄取結(jié)果。進(jìn)而將預(yù)測結(jié)果與Logistic回歸、隨機森林模型的預(yù)測結(jié)果進(jìn)行比較分析，得出XGBoost具有預(yù)測準(zhǔn)確率高、運行時間短的優(yōu)點。根據(jù)實驗分析結(jié)果，可以為學(xué)生進(jìn)行院校決策提供一定幫助。

參考文獻(xiàn)

[1]鄭麗萍，鄧淼磊.美國計算機專業(yè)研究生教育特點與啟示[J].軟件導(dǎo)刊，2019，18（06）：204-206+210.

[2]何清，李寧，羅文娟，史忠植.大數(shù)據(jù)下的機器學(xué)習(xí)算法綜述[J].模式識別與人工智能，2014，27（04） ：327-336..

[3]孫逸菲，袁德成，王建龍，白楊.基于XGBoost方法的葡萄酒品質(zhì)預(yù)測[J].沈陽化工大學(xué)學(xué)報，2018，32（04） ：372-377.

[4]Mohan S A， Asfia A， Aneeta S A. A Comparison of Regression Models for Prediction of Graduate Admissions[Z].IEEE International Conference on Computational Intelligence in Data Science， 2019.