深度置信網(wǎng)絡(luò)優(yōu)化模型在人才評價中的應(yīng)用

李娜娜,胡堅劍,顧軍華,張亞娟

(1.河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院,天津 300401; 2.河北省大數(shù)據(jù)計算重點實驗室,天津 300401)

0 概述

人才評價是高校人才管理的基礎(chǔ),也是高校選拔人才和崗位調(diào)整的重要依據(jù),對高校資源整合和人才隊伍建設(shè)具有重要意義。目前用于人才評價的方法主要有專家經(jīng)驗法和人工智能法兩大類。專家經(jīng)驗法包括模糊綜合評價法[1]、層次分析法[2]等,該類方法構(gòu)建的評價模型簡單,評價結(jié)果具有較大的主觀性和不確定性。人工智能法以BP神經(jīng)網(wǎng)絡(luò)[3]和支持向量機(Support Vector Machine,SVM)[4]為主。BP神經(jīng)網(wǎng)絡(luò)有很強的自主學(xué)習(xí)能力和復(fù)雜非線性函數(shù)擬合能力,但由于網(wǎng)絡(luò)權(quán)值隨機初始化,使得網(wǎng)絡(luò)在訓(xùn)練過程中容易陷入局部最優(yōu),降低了網(wǎng)絡(luò)準(zhǔn)確率。SVM方法能夠較好解決傳統(tǒng)算法中存在的非線性、局部最小值等問題,但在處理多分類問題上存在收斂慢和預(yù)測精度低等缺點。隨著人才評價數(shù)據(jù)的不斷增長,影響評價的因素越來越多,而現(xiàn)階段基于人工智能的評價方法多為3層淺層網(wǎng)絡(luò),難以有效處理復(fù)雜輸入和輸出的關(guān)系。近年來,深度學(xué)習(xí)的快速發(fā)展為人才評價提供一種新的思路。

深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)是一種經(jīng)典的深度學(xué)習(xí)方法,由多個受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)組合而成,因其優(yōu)秀的特征學(xué)習(xí)能力被廣泛應(yīng)用于解決分類[5-7]、預(yù)測[8-9]等問題,并且取得了較好的效果。文獻(xiàn)[10]將自適應(yīng)學(xué)習(xí)率引入到傳統(tǒng)DBN無監(jiān)督訓(xùn)練中,解決了固定學(xué)習(xí)率難以尋找全局最優(yōu)及訓(xùn)練時間長等問題,并將其應(yīng)用于圖像分類。文獻(xiàn)[11]在RBM中加入交叉熵稀疏懲罰因子,使隱層單元具有整體稀疏性,解決了RBM在訓(xùn)練過程中出現(xiàn)的特征同質(zhì)化現(xiàn)象。文獻(xiàn)[12]在RBM模型線性單元中加入獨立高斯分布的連續(xù)值,解決了傳統(tǒng)RBM可視層只接受二進(jìn)制數(shù)的限制,并在時間序列預(yù)測問題上取得較好的效果。文獻(xiàn)[13]從人腦結(jié)構(gòu)中的膠質(zhì)神經(jīng)細(xì)胞得到啟發(fā),將膠質(zhì)細(xì)胞的運作原理運用到DBN中,提出的改進(jìn)DBN模型可以更好地提取抽象圖形特征。上述DBN改進(jìn)方法雖然在一定程度上提高了網(wǎng)絡(luò)性能,但仍存在因隨機初始化權(quán)值導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程中容易陷入局部最優(yōu)的問題。

本文在傳統(tǒng)DBN模型中引入一種改進(jìn)的和聲搜索(Improved Harmony Search,IHS)算法形成IHS-DBN模型,利用IHS算法的全局尋優(yōu)能力對DBN的初始權(quán)值進(jìn)行賦值,以加快網(wǎng)絡(luò)收斂速度并提高預(yù)測準(zhǔn)確率。

1 基礎(chǔ)理論

1.1 深度置信網(wǎng)絡(luò)

DBN是一種概率生成模型,通過訓(xùn)練神經(jīng)元之間的權(quán)重,可以使整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)[14]。同時,DBN是一種深層神經(jīng)網(wǎng)絡(luò),采用自底向上的傳遞,底層的神經(jīng)元接收原始輸入數(shù)據(jù)向量,通過增加網(wǎng)絡(luò)的層數(shù)不斷提取原始數(shù)據(jù)的深層特征,頂層神經(jīng)網(wǎng)絡(luò)將提取的特征用作網(wǎng)絡(luò)輸出。DBN結(jié)構(gòu)如圖1所示。DBN是由多個RBM和一層反向傳播(Back Propagation,BP)網(wǎng)絡(luò)構(gòu)成[15],其中,w為RBM顯層與隱層之間的權(quán)值,hn為第n層隱層各神經(jīng)元的狀態(tài),vn為第n層顯層各神經(jīng)元的狀態(tài)。

圖1 DBN結(jié)構(gòu)

1.1.1 受限玻爾茲曼機

RBM是隨機神經(jīng)網(wǎng)絡(luò)模型,單個的RBM由顯層(v)和隱層(h)構(gòu)成,每層有若干個節(jié)點,不同層節(jié)點之間完全連接,同一層中的節(jié)點無連接[16],RBM采用無監(jiān)督的方式訓(xùn)練,其能量公式如式(1)所示。

(1)

其中,θ={w,a,b}是模型參數(shù),vi和hj分別表示顯層第i個節(jié)點的狀態(tài)和隱層第j個節(jié)點的狀態(tài),w是顯層與隱層之間的權(quán)重矩陣,ai和bj分別是顯層和隱層的偏置,m和n分別為隱層和顯層神經(jīng)元個數(shù)。

該模型顯層節(jié)點和隱層節(jié)點的聯(lián)合概率分布公式如式(2)所示。

(2)

根據(jù)貝葉斯公式,可推導(dǎo)出可見單元和隱含單元的激活概率分別如式(3)、式(4)所示。

(3)

(4)

其中,f為Sigmoid激活函數(shù)。RBM模型學(xué)習(xí)的標(biāo)準(zhǔn)算法是對比散度(Contrastive Divergence,CD)算法,學(xué)習(xí)目標(biāo)是降低模型整體能量。算法參數(shù)更新公式如式(5)～式(7)所示。

(wij)n=(wij)n-1+ε(〈vihj〉data-〈vihj〉model)

(5)

(ai)n=(ai)n-1+ε(〈vi〉data-〈vi〉model)

(6)

(bj)n=(bj)n-1+ε(〈hj〉data-〈hj〉model)

(7)

其中,ε為學(xué)習(xí)率,〈·〉data表示原輸入值,〈·〉model表示輸入的重構(gòu)值。

1.1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)主要對RBM預(yù)訓(xùn)練過程中提取的特征向量進(jìn)行分類,并計算分類結(jié)果與期望結(jié)果之間的誤差,通過反向傳播將誤差逐層回傳并調(diào)整DBN的參數(shù)。在傳播過程中通過每層δ的值向下傳遞修改網(wǎng)絡(luò)權(quán)值。

在輸出層中,第i個節(jié)點的輸出為oi,期望輸出為di,δ計算公式如式(8)所示。

δi=oi(1-oi)(di-oi)

(8)

(9)

DBN各層權(quán)值更新公式如式(10)所示。

(10)

1.2 和聲搜索算法

和聲搜索(Harmony Search,HS)算法是一種元啟發(fā)式算法[17],該算法模擬音樂創(chuàng)作原理,在音樂創(chuàng)作中,樂師通過不斷調(diào)整樂隊中各樂器的音調(diào),最終達(dá)到和聲狀態(tài)。HS算法具有概念簡單、參數(shù)少、尋優(yōu)能力強等優(yōu)點[18],可應(yīng)用于神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化[19-20]等領(lǐng)域。HS算法的主要步驟如下:

1)初始化算法參數(shù)。參數(shù)包括和聲記憶庫大小(HMS)、和聲記憶庫選擇概率(HMCR)、音調(diào)調(diào)整步長(BW)、音調(diào)調(diào)整概率(PAR)和迭代次數(shù)(N)。

2)確定優(yōu)化目標(biāo)函數(shù)。

3)初始化和聲記憶矩陣。從X的解空間中隨機生成HMS個和聲X1,X2,…,XHMS放入和聲記憶庫,并計算每個和聲的f(X)值,和聲記憶庫的形式如式(11)所示。

(11)

(12)

(13)

5)更新和聲記憶庫。計算f(Xnew),若f(Xnew)

6)檢查算法是否終止。重復(fù)步驟4、步驟5,直至迭代次數(shù)達(dá)到N。

2 基于IHS算法的深度置信網(wǎng)絡(luò)模型

2.1 改進(jìn)的和聲搜索算法

在原始的和聲搜索算法中,主要通過兩種方式產(chǎn)生新和聲:1)在解空間隨機生成;2)從和聲記憶庫中選取。這兩種方式都通過BW對音調(diào)進(jìn)行調(diào)整優(yōu)化[21],因此音調(diào)調(diào)整在HS算法搜索機制中起著至關(guān)重要的作用。

在原始HS算法搜索過程中,如果采用較小的BW值,則新和聲的產(chǎn)生集中在一個較小的區(qū)域,使算法容易陷入局部最優(yōu),并且在搜索初期,和聲記憶庫的解向量多樣性不足,而如果采用較大的BW值,則有利于算法跳出局部最優(yōu),但后期的局部搜索能力不足,不利于算法在局部區(qū)域精細(xì)搜索,因此固定的BW值將會導(dǎo)致算法的整體性能下降。針對該問題,為有效提高HS算法的搜索能力,在粒子群智能優(yōu)化概念的啟發(fā)下,本文提出一種全局自適應(yīng)調(diào)整算法。該算法利用粒子群優(yōu)化算法的學(xué)習(xí)策略,其中和聲記憶庫中的最優(yōu)和聲相當(dāng)于全局最優(yōu)和聲,和聲記憶庫中的最差和聲相當(dāng)于目前搜索到的最優(yōu)和聲,充分利用最優(yōu)和最差和聲信息,提高算法學(xué)習(xí)效率。同時,該算法提出一種新的和聲微調(diào)規(guī)則,以某種概率選擇在同一維度上最優(yōu)和聲和最差和聲與被選擇的和聲之差作為音調(diào)帶寬。該規(guī)則使得音調(diào)帶寬在算法搜索過程中自適應(yīng)變化,既滿足算法早期需要增加解向量多樣性的要求,又能提高算法后期的局部搜索能力,使算法收斂到更接近最優(yōu)解。實現(xiàn)方式如式(14)所示。

(14)

在迭代初期,所有和聲向量在解空間中廣泛分布,種群多樣性良好,β值較大,和聲進(jìn)行微調(diào)時更趨向于全局最優(yōu)和聲進(jìn)行調(diào)整,有利于快速搜索更好的和聲向量。在迭代中期,β固定為0.5,利用最優(yōu)自適應(yīng)調(diào)整可以在全局最優(yōu)和聲附近搜索更好的和聲音調(diào),并且最差自適應(yīng)調(diào)整可以作為防止算法陷入局部最優(yōu)的一個補充。在迭代后期,和聲比較接近于最優(yōu)和聲,β設(shè)置較小,和聲趨向于最差和聲調(diào)整,擴大搜索范圍,尋找更接近于全局最優(yōu)的和聲。

基于上述考慮,將β值設(shè)置為隨迭代次數(shù)動態(tài)變化,表達(dá)式如式(15)所示。

(15)

其中,k為當(dāng)前迭代次數(shù),N為最大迭代次數(shù)。β值隨迭代次數(shù)的變化情況如圖2所示。

圖2 β值隨迭代次數(shù)的變化

算法1IHS算法

輸入記憶庫X={X1,X2,…,XHMS},解向量維數(shù)D,最大迭代次數(shù)N,音調(diào)選取概率HMCR

輸出最優(yōu)和聲Xbest

1.for i=1 to HMS do

2.for j=1 to D do //循環(huán)生成新的和聲

4.Calculate f(xi)

5.end for

6.n=0,while n

7.for j=1 to D do

8.if rand()≤HMCR then

10.Calculate β;//通過式(15)計算β值

11.if and()≤β then

13.else

15.end if

16.else

18.end if

19.end for

20.if f(Xbest)

21.Xworst=Xbest;

22.end if

23.g=g+1;

24.end while

25.return Xbest

2.2 IHS-DBN模型原理

DBN是由多個RBM組成的模型,每個RBM包含一組輸入單元,通過貪婪逐層訓(xùn)練的方法學(xué)習(xí)更深層次的特征?；谠撃Ｐ徒Y(jié)構(gòu),本文將IHS算法引入到DBN中提出一種基于IHS算法的DBN(IHS-DBN),通過IHS搜索得到RBM的初始權(quán)值,然后利用CD算法對輸入數(shù)據(jù)進(jìn)行訓(xùn)練得到隱層并重構(gòu)顯層,將隱層的輸出作為下一個RBM的輸入,層層訓(xùn)練網(wǎng)絡(luò),最終得到一個深層次的DBN模型。IHS-DBN算法步驟如下:

1)初始化算法1參數(shù)。

2)確定優(yōu)化目標(biāo)函數(shù)及解的搜索范圍。采用RBM的平均重構(gòu)誤差函數(shù)構(gòu)造目標(biāo)函數(shù),定義如式(16)所示。

(16)

3)初始化HHM并記錄每個和聲對應(yīng)的目標(biāo)函數(shù)值。

4)通過算法1迭代搜索直到滿足停止條件,選擇一組全局最優(yōu)解初始化第一個RBM的權(quán)值。

5)使用CD算法對第一個RBM進(jìn)行特征學(xué)習(xí)訓(xùn)練,并將學(xué)習(xí)到的特征作為下一個RBM的輸入特征,重復(fù)步驟1～步驟4直到所有RBM訓(xùn)練完成。

6)使用所有RBM的權(quán)值和偏置作為整個網(wǎng)絡(luò)的初始參數(shù),利用梯度下降法微調(diào)整個IHS-DBN模型。

為更加直觀地描述IHS-DBN的訓(xùn)練過程,給出具體的優(yōu)化流程,如圖3所示。

圖3 基于IHS算法的DBN模型優(yōu)化流程

2.3 模型性能驗證

為驗證IHS-DBN模型的性能,本文在Window 10(64位)操作系統(tǒng)、Intel Core i5-5200U CPU @3.6 GHz、8 GB RBM、Python3.5環(huán)境下,采用MNIST標(biāo)準(zhǔn)手寫體庫數(shù)據(jù)集進(jìn)行實驗,樣本數(shù)據(jù)中包含0～9共10個阿拉伯?dāng)?shù)字的手寫圖像。實驗中將樣本數(shù)據(jù)歸一化處理后,圖像大小為28像素×28像素,并以標(biāo)準(zhǔn)灰度圖進(jìn)行存儲,共包含60 000個訓(xùn)練樣本和10 000個測試樣本。為保證實驗的高效性和準(zhǔn)確性,實驗過程中采用小批量數(shù)據(jù)模式,批處理大小為100。

2.3.1 實驗參數(shù)設(shè)置

本文實驗主要為驗證HS算法與IHS算法對DBN的優(yōu)化效果,因此,將兩種算法都在相同的DBN網(wǎng)絡(luò)中進(jìn)行優(yōu)化。DBN的輸入層節(jié)點數(shù)為784,網(wǎng)絡(luò)包含兩個隱層,其節(jié)點數(shù)為100～500,輸出層為Logistic分類層。兩種算法的和聲記憶庫大小為50,其中,IHS算法和HS算法的和聲記憶庫選擇概率均為0.90,音調(diào)調(diào)整概率為0.25,音調(diào)調(diào)整步長為0.06,迭代次數(shù)為100,權(quán)值W的搜索范圍為[0,1]。

2.3.2 實驗結(jié)果

在固定DBN網(wǎng)絡(luò)結(jié)構(gòu)的前提下,分別用HS算法和IHS算法對網(wǎng)絡(luò)初始權(quán)值進(jìn)行優(yōu)化選擇,然后在相同環(huán)境下對不同模型進(jìn)行訓(xùn)練,其中無監(jiān)督的預(yù)訓(xùn)練迭代次數(shù)設(shè)為50次,有監(jiān)督的微調(diào)訓(xùn)練迭代次數(shù)設(shè)為100次,3種模型在MNIST數(shù)據(jù)集上的分類誤差率隨迭代次數(shù)的變化情況如圖4所示。為保證實驗數(shù)據(jù)的準(zhǔn)確性,結(jié)果均為10次實驗的平均值。

圖4 MNIST數(shù)據(jù)集分類誤差率

由圖4可以看出,隨著迭代次數(shù)的增加,3種模型的分類誤差均表現(xiàn)為下降趨勢,IHS-DBN反向傳播迭代次數(shù)在20次后,網(wǎng)絡(luò)開始趨于穩(wěn)定,而HS-DBN和DBN模型在迭代次數(shù)達(dá)到50次后才趨于穩(wěn)定,因此在相同網(wǎng)絡(luò)結(jié)構(gòu)下,本文提出的模型收斂速度最快,并且最終模型的誤差率最小。3種模型在MNIST數(shù)據(jù)集上的訓(xùn)練結(jié)果如表1所示。

表1 MNIST數(shù)據(jù)集訓(xùn)練結(jié)果

由表1實驗結(jié)果可知,本文IHS-DBN模型的誤差率為2.87%,相比傳統(tǒng)DBN模型誤差率降低了17.5%,訓(xùn)練時間縮短14.8%;相比HS-DBN模型誤差率降低了15.3%,訓(xùn)練時間縮短10.27%,并且本文模型的準(zhǔn)確率和召回率也高于其他兩種模型。

由上述實驗數(shù)據(jù)可以看出,IHS-DBN模型在誤差率、召回率、準(zhǔn)確率和訓(xùn)練時間上均優(yōu)于DBN模型和HS-DBN模型。相比于DBN模型,IHS-DBN模型通過IHS算法優(yōu)化網(wǎng)絡(luò)的初始權(quán)值,使網(wǎng)絡(luò)在訓(xùn)練初期就得到一個較優(yōu)的參數(shù),從而加快網(wǎng)絡(luò)收斂速度,同時防止模型陷入局部最優(yōu)。相比HS-DBN模型,IHS-DBN模型通過改進(jìn)HS算法,使用全局自適應(yīng)和聲調(diào)整方式,提高算法局部搜索能力,使結(jié)果更接近于真實最優(yōu)解,提升了模型整體性能。

3 IHS-DBN在高校人才評價中的應(yīng)用

人才評價模型主要分為數(shù)據(jù)預(yù)處理、模型訓(xùn)練和評價三部分:1)對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理,選取出與評價相關(guān)的指標(biāo),并對指標(biāo)進(jìn)行合理量化;2)建立由若干個RBM和一個BP網(wǎng)絡(luò)組成的IHS-DBN模型對訓(xùn)練樣本數(shù)據(jù)進(jìn)行訓(xùn)練;3)利用訓(xùn)練后的模型對測試數(shù)據(jù)進(jìn)行評價得出評價結(jié)果,驗證模型性能。

3.1 指標(biāo)體系構(gòu)建

評價指標(biāo)體系中的各項指標(biāo)是評價高校人才的重要依據(jù),是建立評價模型的基礎(chǔ)。本文建立的指標(biāo)體系主要以評價對象的主要活動作為切入點,分析影響評價的各項因素。此外,還參考了現(xiàn)有的高層次人才評價方法,結(jié)合從事高校教師評估的專業(yè)人士的意見,在基本情況、教學(xué)情況、科研情況中利用德爾菲法構(gòu)建高校人才評價的指標(biāo)體系,該指標(biāo)體系包含3個一級指標(biāo)、25個二級指標(biāo),如表2所示。

表2 評價指標(biāo)體系

3.2 數(shù)據(jù)獲取與處理

本文研究采用的人才數(shù)據(jù)來源于國內(nèi)一所雙一流重點建設(shè)高校,數(shù)據(jù)包括教師的基本信息、教學(xué)信息和科研信息,經(jīng)過數(shù)據(jù)清洗,清除不完整數(shù)據(jù)及隱私數(shù)據(jù),只保留與本文評價指標(biāo)體系相關(guān)的數(shù)據(jù)。清理后共得到1 260條完整教師數(shù)據(jù)并通過評估專家對其進(jìn)行標(biāo)注評價等級。在訓(xùn)練和測試網(wǎng)絡(luò)時,從1 260個樣本數(shù)據(jù)中隨機抽取1 000個樣本作為訓(xùn)練樣本,并采用十折交叉檢驗方式驗證模型的穩(wěn)定性,其余260個樣本作為測試數(shù)據(jù)對模型有效性進(jìn)行驗證。網(wǎng)絡(luò)輸入只能是實值數(shù)據(jù),因此需要對指標(biāo)體系中的性別、職稱、學(xué)歷等定性指標(biāo)進(jìn)行量化處理。本文采用編碼的方式對其進(jìn)行量化,各指標(biāo)的不同指標(biāo)值對應(yīng)的編碼如表3所示。

表3 定性指標(biāo)編碼

DBN網(wǎng)絡(luò)在訓(xùn)練過程中采用Sigmoid函數(shù)作為傳遞函數(shù),該函數(shù)的值域為[0,1],因此樣本數(shù)據(jù)輸入到網(wǎng)絡(luò)前需要將所有的樣本數(shù)據(jù)歸一化到[0,1]區(qū)間,計算方式如式(17)所示。

(17)

其中,Yi為歸一化后的數(shù)據(jù),xi為輸入向量的實際值,xmax和xmin分別是輸入向量中的最大值和最小值。

為更直觀地反映人才評價結(jié)果,本文將結(jié)果分為優(yōu)良中差4個等級,并將結(jié)果使用4位One-Hot編碼表示,優(yōu)表示為1000,良表示為0100,中表示為0010,差表示為0001。

3.3 實驗結(jié)果與分析

3.3.1 性能指標(biāo)

為更好地對預(yù)測效果進(jìn)行分析,本文實驗采用均方誤差(Mean Square Error,MSE)評價模型性能,MSE定義如式(18)所示。

(18)

其中,n為樣本數(shù),m為輸出節(jié)點個數(shù),Yij為樣本的網(wǎng)絡(luò)輸出值,Y′ij為樣本的期望輸出值。

3.3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置與分析

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置具體如下:

1)網(wǎng)絡(luò)輸入層和輸出層。將統(tǒng)計好的性別、年齡、學(xué)歷等25個指標(biāo)作為輸入,將評價結(jié)果優(yōu)良中差4個等級作為輸出,因此網(wǎng)絡(luò)輸入層的節(jié)點數(shù)設(shè)置為25,輸出節(jié)點數(shù)設(shè)置為4,模型訓(xùn)練后輸出的最大值對應(yīng)的評級等級即為評價結(jié)果。

2)網(wǎng)絡(luò)隱層層數(shù)和隱層節(jié)點個數(shù)。DBN是一個多層深度網(wǎng)絡(luò),隱層層數(shù)直接影響輸入特征的提取能力,理論上認(rèn)為隱層層數(shù)越多,網(wǎng)絡(luò)結(jié)構(gòu)越復(fù)雜,網(wǎng)絡(luò)提取特征能力越強,精確度越高。但隨著隱層層數(shù)的增加,訓(xùn)練難度將逐漸增大,收斂速度變慢,因此確定網(wǎng)絡(luò)層數(shù)時應(yīng)充分考慮多方面的因素。本文通過實驗對隱層層數(shù)不同的網(wǎng)絡(luò)結(jié)構(gòu)性能進(jìn)行分析,實驗中為不受隱層節(jié)點數(shù)的影響,將各隱層節(jié)點數(shù)都設(shè)為10,以輸出預(yù)測數(shù)據(jù)的MSE作為評價標(biāo)準(zhǔn),實驗結(jié)果如圖5所示,其中結(jié)果為10次實驗的平均值。

圖5 不同隱層層數(shù)的均方誤差對比

實驗結(jié)果表明,當(dāng)隱層層數(shù)為2時,測試結(jié)果的均方誤差最小,因此本文將網(wǎng)絡(luò)設(shè)置為2個隱層。然后通過遍歷法來確定各隱層的節(jié)點個數(shù),將第一層和第二層節(jié)點數(shù)分別設(shè)為[14,15,16,17,18,19,20]和[8,10,12,14],組合成28種網(wǎng)絡(luò)結(jié)構(gòu),每種網(wǎng)絡(luò)結(jié)構(gòu)單獨訓(xùn)練,其每種組合的網(wǎng)絡(luò)模型準(zhǔn)確率對比如圖6所示。其中,橫軸代表第一隱層的神經(jīng)元個數(shù),縱軸代表每種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行10次實驗的平均評價準(zhǔn)確率,不同曲線代表第二隱層中不同神經(jīng)元數(shù)的準(zhǔn)確率變化,通過對比不同組合發(fā)現(xiàn),當(dāng)DBN的兩層隱層節(jié)點數(shù)分別為16和10時,準(zhǔn)確率最高,模型性能達(dá)到最優(yōu),因此本文最終網(wǎng)絡(luò)結(jié)構(gòu)的輸入層、兩層隱層和輸出層的神經(jīng)元個數(shù)分別為25、16、10和4。

圖6 不同組合的隱層神經(jīng)元準(zhǔn)確率對比

3.3.3 結(jié)果分析

為驗證本文評價模型的有效性,將其與傳統(tǒng)DBN、BP人工神經(jīng)網(wǎng)絡(luò)和SVM模型進(jìn)行比較,每種模型都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。DBN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)與IHS-DBN結(jié)構(gòu)參數(shù)相同,無監(jiān)督訓(xùn)練的學(xué)習(xí)率為0.5,有監(jiān)督訓(xùn)練的學(xué)習(xí)率為0.1,BP人工神經(jīng)網(wǎng)絡(luò)設(shè)置為單隱層結(jié)構(gòu),隱層節(jié)點的個數(shù)先通過經(jīng)驗公式初步確定,再通過枚舉法最終確定為10個,即網(wǎng)絡(luò)結(jié)構(gòu)為25-10-4,學(xué)習(xí)率設(shè)置為0.5,SVM采用一對多的方法來處理多分類問題,核函數(shù)為徑向基核函數(shù),并利用粒子群優(yōu)化算法尋找最優(yōu)的懲罰因子C為100,參數(shù)σ為5.8。4種人才評價模型的實驗結(jié)果對比如表4所示。為減少偶然性,實驗結(jié)果均為執(zhí)行10次實驗的平均值。

表4 不同人才評價模型實驗結(jié)果對比

由表4數(shù)據(jù)可知,本文IHS-DBN模型的準(zhǔn)確率比BPANN、SVM、DBN模型分別提升了16.4%、7.3%、3.6%。相比于BPANN和SVM模型,IHS-DBN模型充分挖掘評價指標(biāo)數(shù)據(jù)的深層特征,將輸入的25個指標(biāo)抽象成10個指標(biāo)進(jìn)行評估,使得網(wǎng)絡(luò)擬合能力優(yōu)于淺層結(jié)構(gòu)。相比于傳統(tǒng)DBN模型,雖然網(wǎng)絡(luò)結(jié)構(gòu)相同,但I(xiàn)HS-DBN模型的擬合精度高于DBN模型,這是因為IHS-DBN模型利用IHS算法對網(wǎng)絡(luò)的初始權(quán)值進(jìn)行優(yōu)化,加快了預(yù)訓(xùn)練的收斂速度,并防止訓(xùn)練陷入局部最優(yōu),從而提升模型性能,而DBN模型通過隨機方法對權(quán)值進(jìn)行初始化,未經(jīng)過有效優(yōu)化進(jìn)行訓(xùn)練,導(dǎo)致樣本數(shù)據(jù)的擬合精度較差。此外,IHS-DBN和DBN的網(wǎng)絡(luò)結(jié)構(gòu)比BPANN和SVM復(fù)雜,需要通過無監(jiān)督訓(xùn)練和微調(diào)訓(xùn)練來完成模型的整個訓(xùn)練過程,因此訓(xùn)練時間較長,但由于人才評價并不需要實時的評價,因此通過增加訓(xùn)練時間來獲得更高的評價精度是可以被接受的。

為驗證IHS-DBN模型在訓(xùn)練過程中的優(yōu)勢,對BPANN、DBN、IHS-DBN模型在相同迭代次數(shù)下的準(zhǔn)確率進(jìn)行對比,結(jié)果如圖7所示。為保證3種模型均收斂,迭代次數(shù)設(shè)為200。由圖7可知,隨著迭代次數(shù)的增加,3種模型的評價性能均表現(xiàn)為上升趨向,這表明隨著訓(xùn)練次數(shù)增多,模型參數(shù)不斷優(yōu)化。然而,3種模型的性能雖然都表現(xiàn)為上升趨勢,但變化趨勢各不相同,在迭代30次之前,準(zhǔn)確率相差不大,但隨著迭代次數(shù)的增加,3種模型準(zhǔn)確率之間的差距被逐漸拉大,IHS-DBN模型在迭代到100次時,變化趨勢趨于穩(wěn)定,DBN模型在迭代到140次時,變化趨勢趨于穩(wěn)定,而BPANN模型的變化趨勢在迭代達(dá)到190次才開始趨于穩(wěn)定。這表明在相同的迭代次數(shù)下,本文IHS-DBN模型評價性能的提升速度明顯要優(yōu)于其他模型。

圖7 3種模型人才評價準(zhǔn)確率對比

4 結(jié)束語

本文提出一種優(yōu)化的深度置信網(wǎng)絡(luò)模型IHS-DBN,并將其應(yīng)用于高校人才評價問題中,與BPANN和SVM評價模型相比,IHS-DBN模型通過無監(jiān)督訓(xùn)練的方式充分提取評價指標(biāo)的特征,并結(jié)合有監(jiān)督訓(xùn)練微調(diào)整個模型,較好地處理復(fù)雜評價指標(biāo)與評價結(jié)果的映射關(guān)系,從而提高模型性能。與DBN評價模型相比,IHS-DBN模型利用IHS算法初始化DBN的權(quán)值,既解決了DBN模型因隨機初始化權(quán)值易陷入局部最優(yōu)的問題,又加快了模型收斂速度,進(jìn)一步提高模型性能。實驗結(jié)果表明,IHS-DBN模型得到的評價結(jié)果更接近于真實情況,對高校人才評價具有參考價值。下一步將從提高網(wǎng)絡(luò)訓(xùn)練速率的角度出發(fā)對IHS-DBN模型進(jìn)行優(yōu)化,以期在保證模型準(zhǔn)確率的同時進(jìn)一步提高學(xué)習(xí)效率。