基于隨機森林的大學英語四級通過率預測模型

袁樂泉，朱亞輝

(陜西學前師范學院數學與統計學院,陜西西安，710100)

0 引言

隨著國際化進程的不斷推進，英語能力已經成為衡量高校人才能力的重要指標之一，大學英語四級成績也成為眾多公司招聘的門檻之一。通過預測大學英語四級成績，既可以對學生英語四級成績進行合理化評估，也可以有針對性地向成績高危的學生進行成績預警，幫助學生順利通過大學英語四級考試。常用的數據挖掘模型包括決策樹[1]、貝葉斯網絡和支持向量機[2]等，雖然能夠對大學英語四級成績進行預測，但它們的預測準確率不高。

隨機森林模型具有泛化能力較強、對輸入數據誤差的不敏感性、具備分析輸入特征重要度功能等優(yōu)點，具有較強的通用性。近年來，許多學者[3,4]應用隨機森林模型進行預測，并取得了較高的預測準確率。因此，本項目利用隨機森林模型對某學院大學生英語四級通過率進行預測，旨在預測和識別處于成績高危的學生，督促其認真學習英語知識，提高大學英語四級成績。

1 隨機森林算法簡述

隨機森林是由LeoBreiman[5]提出的一種經典的機器學習算法，它是由弱模型決策回歸樹（Classification And Regression Tree, CART）結合裝袋算法(Bagging)和隨機特征子空間(Random Subspace Method, RSM)構成。CART既能用于回歸也能用于分類，相應的隨機森林也可用于分類和回歸分析，其基本結構如圖1所示[1]。

圖1 隨機森林模型基本結構

構建隨機森林的主要步驟大致如下：

（1）boostrap方法隨機抽樣，每個樣本均構建一棵決策樹；

（2）每棵決策樹持續(xù)分裂，直到節(jié)點的所有訓練樣例都屬于同一類；

（3）構建好的多棵決策樹組成隨機森林，用隨機森林分類器對待測試數據進行分類。

2 大學英語四級通過率預測模型

根據隨機森林基本原理，采用隨機森林預測大學英語四級通過率的模型構建基本流程為：

Step 1：特征向量的建立

大學英語四級通過率主要受到大學生基本信息（性別、民族、專業(yè)）、高考英語成績、大學英語成績（共計4學期）、大學生課外英語使用情況（英語社交參與、英語APP使用、英文期刊訂閱、英語學習資料件數）等因素的影響。例如：1）女生較男生更適合語言的學習，女生英語四級的通過率優(yōu)于男生[6]。表1給出了某院校男、女生英語四級的通過率，從表1可以看出，女生英語四級通過率遠高于男生；漢族學生英語四級通過率優(yōu)于少數民族；文科專業(yè)學生英語四級通過率優(yōu)于理科專業(yè)學生；2）從高考成績和大學英語成績能夠直接反映學生實際的英語水平；3）除了開設英語課以外，還需要在課外通過其他方式進行學習，例如英語APP使用、是否訂閱英語期刊等。

表1 男女生英語四級通過率[7]

Step 2：采用CART決策樹作為隨機森林中的基分類器。

由k個分類器集合而成的隨機森林模型可以表示為：

其中，T是輸入特征集，hq(T)代表基分類器，每個基分類器是一棵CART決策樹。

基于隨機森林算法的大學英語四級通過率預測方法原理如下：

(1）設置隨機森林模型中基分類器的個數k，基于boostrap抽樣方法，隨機且有放回地從含有n個訓練樣本的數據集中抽取n個樣本作為一個子樣本集，重復k次上述抽樣過程，得到k個子樣本集。

(2）利用CART算法為每個boostrap子樣本集構建決策樹?；贑ART算法的決策樹使用基尼指數作為特征選擇與分裂的衡量標準。

(3）將k棵CART決策樹組成隨機森林，每個樣本包含9個特征，設定一個常數m=2，構建每棵決策樹時，隨機地從9個特征維度中抽取2個特征作為一個特征子集，決策樹每次從特征子集中選擇最優(yōu)分裂特征，按照基尼指數最小的原則進行分裂。

(4）k棵CART決策樹按照分類結果進行投票，投票數最多的類別作為隨機森林模型的分類結果。

3 實證分析

本研究從某院數據庫中提取1000位本科生的性別（女賦值為1，男賦值為0）、民族（漢族賦值為1，少數民族賦值為0）、專業(yè)（文科賦值為1，理科賦值為0）、高考英語成績、4個學期的大學英語成績、大學生課外英語使用情況統計數據，將它們作為大學英語四級通過率預測模型的輸入變量；大學英語四級通過類別作為分類變量，其中通過類別標記為1，沒有通過類別標記為0。

基于隨機森林算法的大學英語四級通過率預測模型構建步驟如下：

Step1：輸入包含特征的樣本數據集。輸入經過處理的1000個樣本，設定輸入變量與分類變量。隨機選擇70%的專利樣本作為訓練集，30%作為測試集，用于模型預測效果的檢驗。

Step 2：根據大學英語四級通過率預測模型的輸入變量個數和分類變量，設置模型參數如下：k= 2 ,M= 9 ,m=2，并根據基尼指數最小的規(guī)則進行決策樹的分裂，知道直到所有特征全部分裂結束。

Step3 ：所有的CART決策樹按照分類結果進行投票，投票數較多的類別作為隨機森林模型的分類結果。

為了驗證基于隨機森林算法的大學英語四級通過率預測模型的效果，在測試集上計算分類結果的預測準確率、召回率、命中率，結果如下：預測準確率=90%，召回率=89.5%，命中率=93.3%。結果表明，基于隨機森林算法的大學英語四級通過率預測模型具有較好地分類效果，預測結果較為準確。

4 結束語

本文將隨機森林模型應用到大學英語四級通過率預測，以學生基本情況（性別、民族、專業(yè)）、高考英語成績、大學英語成績（共計4學期）、大學生課外英語使用統計數據為輸入變量，以通過和未通過作為分類變量，模型預測準確率達到90%，召回率達到89.5%,命中率為93.3%，表明基于隨機森林的大學英語四級通過率預測模型是有效的。