基于改進(jìn)CNN的部隊門禁系統(tǒng)①

何偉鑫,鄧建球,方 軼,叢林虎,李俊達(dá)

1(海軍航空大學(xué) 岸防兵學(xué)院,煙臺 264001)

2(91213 部隊,煙臺 264001)

部隊內(nèi)部存在著眾多保密性級別極高的場所,如彈藥庫,軍械倉庫,導(dǎo)彈庫等,而當(dāng)前這些場所眾多采取門崗值守,亦或者輸入密碼,出示證件的方式進(jìn)出,但這樣的方式存在著較大的安全隱患,較易被冒充,亦或者門崗粗心大意等,致使無關(guān)人員進(jìn)入保密重要保密場所.所以,設(shè)計一種安全性識別度較高的門禁系統(tǒng)迫在眉睫.

近年來,計算機(jī)技術(shù)迅猛發(fā)展,人工智能已經(jīng)遍布于人類生活的方方面面.而計算機(jī)視覺是人工智能的重要研究方向,也是人臉識別、姿態(tài)辨析、行為檢測等眾多領(lǐng)域的奠基石.KNN 是適用于小數(shù)據(jù)集的非參數(shù)分類方法.反向傳播算法利用大規(guī)模樣本進(jìn)行訓(xùn)練.樣本輸入進(jìn)神經(jīng)網(wǎng)絡(luò)提取其特征,得到模型,從而可預(yù)測陌生數(shù)據(jù),但收斂速率緩慢[1].LeCun 等提出LeNet-5模型[2],通過測試MNIST 數(shù)據(jù)集,獲得較好性能.卷積神經(jīng)網(wǎng)絡(luò)是基于視覺神經(jīng)機(jī)制設(shè)計的多層感知器[3],但訓(xùn)練過程易產(chǎn)生過擬合.2006年,深度學(xué)習(xí)概念[4]被Hinton 等提出.2012年,AlexNet 獲得ImageNet 競賽冠軍[5].目前,計算機(jī)視覺技術(shù)廣泛使用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型[6],故基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計人臉識別系統(tǒng),應(yīng)用于部隊重要場所是一種可行的方法.

1 卷積神經(jīng)網(wǎng)絡(luò)與PSO 算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 一般包括輸入層、卷積層、激活層、池化層、全連接層和輸出層,如圖1所示.數(shù)據(jù)通過輸入層輸入,而后進(jìn)行預(yù)處理.卷積層以及池化層提取有用信息[7].在激活層中,激活函數(shù)對運(yùn)算的結(jié)果進(jìn)行平滑,加入非線性運(yùn)算.全連接層整合有用信息,對結(jié)果進(jìn)行分類和預(yù)測.

圖1 卷積神經(jīng)網(wǎng)絡(luò)示意圖

CNN 的優(yōu)缺點(diǎn):

(1)CNN 應(yīng)用了權(quán)值共享以及感受野技術(shù),層與層之間的連接為不完全連接,極大縮小了權(quán)值數(shù)量,提高運(yùn)算效率.

(2)CNN 的卷積層和池化層交互進(jìn)行,高效地融合特征提取及分類過程.

(3)這種網(wǎng)絡(luò)結(jié)構(gòu)使得圖像具有很強(qiáng)的魯棒性[8].

但是,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在反向傳播過程中采用梯度下降算法,會產(chǎn)生如下兩個弊端:

(1)梯度下降過程,誤差減小慢,造成訓(xùn)練收斂速度慢.

(2)可能存在梯度消失現(xiàn)象[9].

1.2 PSO 算法

粒子群優(yōu)化算法在當(dāng)前的社會生活中被廣泛的應(yīng)用.其原理為:p維空間存在著規(guī)模為n的粒子群.粒子數(shù)量為種群規(guī)模,即鳥的個數(shù).第i只鳥即粒子群中第i個粒子的速度和位置可以用vi=(vi1,vi2,···,vip)和xi=(xi1,xi2,···,xip)來表示,每個粒子都具有獨(dú)自的適應(yīng)度f,適應(yīng)度的大小為每只鳥與食物的間距,依據(jù)粒子的適應(yīng)度能夠更新粒子群中每個粒子的個體極值Pb及群體極值Gb,而后利用個體極值和種群極值計算粒子速度和位置[10],計算公式為:

式中,i為種群的第i個粒子;j為第j維空間;c1,c2表示學(xué)習(xí)因子,c1表示個體部分,即本身對尋優(yōu)的影響,c2表示全局部分,說明粒子受粒子群的影響;t表示第t次尋優(yōu);ε1,ε2表示平均介于[0,1]間的隨機(jī)數(shù);wg表示慣性參數(shù)即受上一次迭代過程速度的影響[11].

2 CNN 的改進(jìn)方案

2.1 CNN 前向傳播

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程首先進(jìn)行前向傳播.主要有卷積層、激活層、池化層、全連接層及輸出層.

在卷積層中,對輸入特征圖進(jìn)行計算,計算公式如下:

式中,N輸入數(shù)據(jù),為第l-1 層第k個數(shù)據(jù),ωlk為權(quán)重,σ是激活函數(shù),這里我們使用ReLU 函數(shù),偏置為bl.

池化層用來縮減表示大小,提高計算速度,同時提高提取特征的魯棒性[12].池化方式一般分為max-pool以及mean-pooling.兩種池化方式示意圖如圖2,圖3所示,其中過濾器參數(shù)f=2,s=2.

通過全連接層得到輸出.輸出公式為式(4).

其中,σ為每層的激活函數(shù),需要指出的是目前用于分類最后一層一般采用Softmax 激活函數(shù)以及one-hot編碼,ω為卷積核.

得到輸出結(jié)果后,做誤差計算.使用交叉熵?fù)p失函數(shù)公式(5):

y′為輸出的預(yù)測值,y為經(jīng)過獨(dú)熱編碼輸出的(0,1)值.

圖2 最大池化

圖3 平均池化

2.2 PSO 算法優(yōu)化神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)CNN 在前向傳播過程中獲得誤差之后,對權(quán)重及偏置求得偏導(dǎo),更新權(quán)重以及偏置,權(quán)重和偏置的更新過程遵循的原則為式(6)、式(7):

由式(6)及式(7)可以得知,傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)存在著較大缺陷,如梯度消失,收斂速度慢,容易陷入局部最優(yōu)等.但神經(jīng)網(wǎng)絡(luò)算法存在對初始權(quán)值和閥值較為敏感、容易陷入局部極小值和收斂速度慢等缺點(diǎn).

本文利用PSO 算法優(yōu)化CNN 神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值,能夠改善神經(jīng)網(wǎng)絡(luò)性能.將神經(jīng)網(wǎng)絡(luò)卷積核系數(shù)、全連接層權(quán)重以及偏置值當(dāng)做粒子,此時粒子個數(shù)即為網(wǎng)絡(luò)中需要訓(xùn)練的參數(shù)數(shù)量.

在利用PSO 神經(jīng)網(wǎng)絡(luò)算法中,粒子自身最優(yōu)點(diǎn)以及全局最優(yōu)點(diǎn)、神經(jīng)網(wǎng)絡(luò)模型的閾值還有權(quán)重的優(yōu)化結(jié)束標(biāo)志均基于粒子適應(yīng)度進(jìn)行確定.如下兩式為粒子適應(yīng)度:

其中,k表示順序?yàn)閕的樣本其第j個理想輸出大小;yi,j表 示順序?yàn)閕的 樣本其第j個實(shí)際輸出;n為樣本個數(shù);m=1,2,3···,M,M為粒子數(shù)量.

PSO 誤差要求作為神經(jīng)網(wǎng)絡(luò)算法閾值和權(quán)值的優(yōu)化終止條件,式(10)為誤差函數(shù):

如圖4所示,PSO 改進(jìn)神經(jīng)網(wǎng)絡(luò)步驟為[13,14]:

1)建立網(wǎng)絡(luò)結(jié)構(gòu).

2)初始化網(wǎng)絡(luò)的權(quán)重以及閾值.

3)確定權(quán)重閾值以及粒子群之間的關(guān)系,初始化粒子群.

4)將數(shù)據(jù)集作為輸入值,對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,通過式(8)、式(9)得出適應(yīng)度;比較適應(yīng)度,通過式(1)、式(2)對粒子位置和速度進(jìn)行更新.

5)計算式(10)得到粒子群誤差.當(dāng)誤差達(dá)到要求,算法結(jié)束,獲得權(quán)重以及閾值的優(yōu)化結(jié)果;如不符合要求,繼續(xù)步驟4),直至誤差符合要求.

6)在神經(jīng)網(wǎng)絡(luò)模型中,采用優(yōu)化后的權(quán)值和閾值進(jìn)行樣本訓(xùn)練,獲得神經(jīng)網(wǎng)絡(luò)模型.

7)利用未知數(shù)據(jù)輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測試[13].

根據(jù)文獻(xiàn)[15]將迭代次數(shù)以及粒子群大小分別設(shè)置為2800、30.

圖4 PSO 改進(jìn)神經(jīng)網(wǎng)絡(luò)圖

3 模型建立與實(shí)驗(yàn)

3.1 運(yùn)實(shí)驗(yàn)數(shù)據(jù)集與環(huán)境

MNIST 手寫數(shù)據(jù)集由阿拉伯?dāng)?shù)字0～9 的手寫體構(gòu)成.圖5為該手寫數(shù)據(jù)集的示意圖,該數(shù)據(jù)集由10 類組成.其中,訓(xùn)練圖像有60 000 張,測試圖像有10 000張.每一張手寫數(shù)字圖均采取尺度歸一化以及數(shù)字的居中處理.每張圖像均為一通道、28×28 像素的大小.

圖5 手寫數(shù)據(jù)集示意圖

本實(shí)驗(yàn)所使用系統(tǒng)為Ubuntu16.04.計算機(jī)的配置為CPU:Intel i5-8400,GPU:GTX1060.應(yīng)用谷歌公司的TensorFlow 學(xué)習(xí)框架,使用編程語言為Python.應(yīng)用準(zhǔn)確率指標(biāo)為算法的性能評價標(biāo)準(zhǔn).每個算法的實(shí)驗(yàn)次數(shù)均為10 次.

3.2 訓(xùn)練模型的建立

實(shí)驗(yàn)為加快訓(xùn)練速度,以及使得訓(xùn)練結(jié)果差別性更加的顯著,故使用兩層卷積池化后接一層全連接層的網(wǎng)絡(luò)結(jié)構(gòu).這樣減少了網(wǎng)絡(luò)在深層中的大量訓(xùn)練參數(shù).同時也能夠保證網(wǎng)絡(luò)對圖像的魯棒性.如圖6所示為模型結(jié)構(gòu).

圖6 網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)各層參數(shù)如表1所示.

表1 網(wǎng)絡(luò)各層參數(shù)

本實(shí)驗(yàn)中,網(wǎng)絡(luò)結(jié)構(gòu)中全連接層使用Softmax 激活函數(shù),而其余各個卷積層均使用Relu 激活函數(shù).代價函數(shù)使用的是交叉熵代價函數(shù).學(xué)習(xí)率設(shè)置為0.0001.

3.3 仿真實(shí)驗(yàn)與結(jié)果分析

3.3.1 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)首先進(jìn)行傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,接著進(jìn)行改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.循環(huán)訓(xùn)練MNIST 手寫數(shù)據(jù)集樣本一共20 輪,每一次訓(xùn)練完畢以后皆記錄訓(xùn)練數(shù)據(jù),重復(fù)訓(xùn)練共10 次,圖7、圖8為訓(xùn)練過程截圖,表2為兩組實(shí)驗(yàn)每次訓(xùn)練完成后的準(zhǔn)確率.

圖7 傳統(tǒng)CNN 訓(xùn)練過程圖

圖8 改進(jìn)CNN 訓(xùn)練過程圖

3.3.2 實(shí)驗(yàn)結(jié)果分析

從表2我們可以看出,改進(jìn)CNN 網(wǎng)絡(luò)在分類性能上要明顯優(yōu)于傳統(tǒng)CNN 網(wǎng)絡(luò),并且在訓(xùn)練過程中,未出現(xiàn)過擬合現(xiàn)象.需要指出的是,目前在分類領(lǐng)域準(zhǔn)確率已經(jīng)可以達(dá)到非常高的水平,但是其采用的均為復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò),本實(shí)驗(yàn)為了更能夠體現(xiàn)出傳統(tǒng)CNN 與改進(jìn)CNN 之間的差距以及為能夠加快訓(xùn)練的速度,故采用兩次卷積池化層后接一次全連接層的神經(jīng)網(wǎng)絡(luò),通過該網(wǎng)絡(luò)可以看出基于PSO 算法改進(jìn)CNN的性能優(yōu)于傳統(tǒng)CNN.且本研究在引入PSO 算法,對神經(jīng)網(wǎng)絡(luò)的初始權(quán)重以及閾值進(jìn)行優(yōu)化,在達(dá)到設(shè)定要求以后就停止使用PSO 算法,未給網(wǎng)絡(luò)帶來大的計算負(fù)荷,且能加快網(wǎng)絡(luò)的收斂速度,因此具有可行性.

表2 CNN 訓(xùn)練準(zhǔn)確率表

4 門禁系統(tǒng)的的設(shè)計與實(shí)現(xiàn)

通過仿真實(shí)驗(yàn),我們可以看出,基于PSO 算法改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域可以使得模型具有更快的收斂時間,故將PSO 算法引入到MTCNN 以及ResNet 設(shè)計部隊門禁系統(tǒng),通過QT 語言設(shè)計窗體應(yīng)用程序.設(shè)計流程圖如圖9所示.

圖9 程序設(shè)計流程圖

設(shè)計完畢后,隨機(jī)選取樣本進(jìn)行測試,圖10為錄入人臉圖,圖11、圖12以及圖13為測試圖,通過圖11我們可以看到,軟件能夠有效的檢測到人臉.當(dāng)檢測到人臉以后,將信息保存下來.通過軟件的識別界面,攝像頭捕捉到人臉以后,進(jìn)行識別,而后會將得出的結(jié)果顯示出來.通過圖13我們可以看出,該人臉并未錄入到系統(tǒng)里面,以及識別準(zhǔn)確率不足50%,刷臉失敗.

圖10 人臉錄入界面

圖11 人臉識別界面

圖12 人臉識別界面

通過測試,我們得出,錄入的人臉均可以成功的識別,成功率均在50%以上,可成功獲取武器倉庫的開門指令,而未錄入的人臉均無法通過認(rèn)證,故將此軟件部署于部隊武器裝備等重要場所,結(jié)合崗哨,能夠有效的提升部隊重要場所的安全性.

圖13 人臉識別界面

5 結(jié)語

本文針對目前部隊武器倉庫等重要場所的門禁存在的安全隱患問題,采用了PSO 算法對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn),提出了一種基于PSO 算法的卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)方案.而后利用該方案設(shè)計了設(shè)計部隊門禁管理系統(tǒng).仿真實(shí)驗(yàn)與結(jié)果分析表明,本文提出的方案相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)具有訓(xùn)練準(zhǔn)確率更高的優(yōu)點(diǎn),具有一定的實(shí)用性,而后基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的部隊門禁系統(tǒng)應(yīng)用于部隊武器倉庫等重要場所后,將使得這些場所將具有更高的安全性以及可靠性.