基于卷積神經(jīng)網(wǎng)絡(luò)和貝葉斯算法的駕駛員狀態(tài)監(jiān)測研究

楊 濤 吳 波 魏翼鷹 徐勁力

(武漢理工大學(xué)機電工程學(xué)院 武漢 430070)

0 引 言

對駕駛員駕駛狀態(tài)進行監(jiān)測并對不安全行為進行提醒可以減少駕駛員的分神狀態(tài).數(shù)據(jù)表明，在交通事故發(fā)生前，如果駕駛員的反應(yīng)比疲勞時快0.5 s，則60%的事故可以避免[1-3]；同時針對某些區(qū)域如大型企業(yè)內(nèi)的行駛安全問題，在內(nèi)部車輛安裝駕駛員狀態(tài)監(jiān)測設(shè)備，可對企業(yè)車輛行駛狀態(tài)進行監(jiān)測，且對駕駛員有警醒作用，可降低企業(yè)內(nèi)部區(qū)域的事故發(fā)生率，規(guī)范駕駛員駕駛行為.

近年來，人工神經(jīng)網(wǎng)絡(luò)(ANN)作為人工智能的代表被廣泛應(yīng)用在各個領(lǐng)域，其中卷積神經(jīng)網(wǎng)絡(luò)(CNN)由于其引入特有的先驗知識——深度網(wǎng)絡(luò)、局部連接和參數(shù)共享，在圖像識別領(lǐng)域具有獨特的優(yōu)勢.但隨著卷積神經(jīng)網(wǎng)絡(luò)不斷發(fā)展，其深度不斷增加、網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，使得訓(xùn)練一個優(yōu)秀的神經(jīng)網(wǎng)絡(luò)的計算成本十分高昂，遷移學(xué)習(xí)的出現(xiàn)很好的解決了這一問題.遷移學(xué)習(xí)從宏觀角度可以理解為：任務(wù)A中學(xué)得的知識可以用到任務(wù)B中，從而降低任務(wù)B的學(xué)習(xí)難度；從網(wǎng)絡(luò)結(jié)構(gòu)上理解，遷移學(xué)習(xí)是指對已經(jīng)訓(xùn)練好的模型進行末尾全連接層的重新定義，并重新訓(xùn)練部分網(wǎng)絡(luò)層，從而減少訓(xùn)練量與訓(xùn)練時間，節(jié)省計算成本，因此采用遷移學(xué)習(xí)方式完成駕駛員狀態(tài)監(jiān)測這一任務(wù)是可行的.針對卷積神經(jīng)網(wǎng)絡(luò)算法中存在的大量超參數(shù)，若采用人工調(diào)參將十分耗時耗力，因此采用自動化調(diào)參算法對遷移學(xué)習(xí)模型進行參數(shù)優(yōu)化可以節(jié)省運算成本，提高模型準(zhǔn)確率.

文中采用卷積神經(jīng)網(wǎng)絡(luò)中的遷移學(xué)習(xí)方式對駕駛員狀態(tài)進行監(jiān)測，利用混合數(shù)據(jù)集方式解決國內(nèi)駕駛員狀態(tài)監(jiān)測數(shù)據(jù)集空缺問題，采用貝葉斯算法進行神經(jīng)網(wǎng)絡(luò)超參數(shù)優(yōu)化，實現(xiàn)對駕駛員狀態(tài)的高準(zhǔn)確率監(jiān)測.

1 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷柜神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)模型采用已經(jīng)在ImageNet數(shù)據(jù)集訓(xùn)練完成，并集成于keras中的Mobilenet_V2[4]模型，Mobilenet_V2是一種輕量化網(wǎng)絡(luò)模型，采用的線性瓶頸層和顛倒殘差結(jié)構(gòu)，在保持精度的同時大大減少了計算量，擁有較好的嵌入式性能.文中在Mobilenet_V2的基礎(chǔ)上對其最后幾層進行優(yōu)化，使模型具有更好的學(xué)習(xí)能力，表1為優(yōu)化后的Mobilenet_V2網(wǎng)絡(luò)框架.

表1 Mobilenet_V2網(wǎng)絡(luò)框架

1.2 數(shù)據(jù)集建立

訓(xùn)練CNN模型的數(shù)據(jù)集主要來源于Kaggle的State Farm Distracted Driver Detection數(shù)據(jù)集，該數(shù)據(jù)集將駕駛員狀態(tài)分為10類，分別編號為0～9,編號0為正常狀態(tài)，編號1～9均為駕駛員非正常狀態(tài)，但由于膚色等人種外貌差異，該數(shù)據(jù)集在中國汽車駕駛員狀態(tài)監(jiān)測任務(wù)中的適用性較差.為了減少由于人種差異而帶來的誤差，在Kaggle數(shù)據(jù)集的基礎(chǔ)上，在訓(xùn)練集及測試集都加入一定數(shù)量中國汽車駕駛員狀態(tài)數(shù)據(jù)圖片，構(gòu)成混合數(shù)據(jù)集.

1.3 遷移學(xué)習(xí)模型

由于數(shù)據(jù)集圖片的特征較多，如果只訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型全連接層，模型很難找到數(shù)據(jù)特征，因此需要在全連接輸出層之前開始訓(xùn)練，采用Fine-tune遷移學(xué)習(xí)方式，即鎖定部分卷積層，更改全連接層輸出，重新訓(xùn)練輸出與未鎖定的部分卷積層[5]；同時由于訓(xùn)練集數(shù)據(jù)的差異性較小、學(xué)習(xí)模型學(xué)習(xí)特征較多等原因，需要進行一定的操作來防止過擬合.

1.3.1損失函數(shù)的選擇

為了加大對錯誤數(shù)據(jù)的懲罰力度，神經(jīng)網(wǎng)絡(luò)一般采用交叉熵?fù)p失.交叉熵?fù)p失通過懲罰錯誤的分類,實現(xiàn)對分類器的準(zhǔn)確度的量化，最小化交叉熵?fù)p失基本等價于最大化分類器的準(zhǔn)確度.為了計算交叉熵?fù)p失, 分類器必須提供對輸入的所屬的每個類別的概率值, 不只是最可能的類別[6]，交叉熵?fù)p失函數(shù)為

LgLoss=L(Y,P(Y|X))=-lgP(Y|X)=

(1)

式中：Y為輸出變量；X為輸入變量；L為損失函數(shù)；N為輸入樣本量；M為可能的類別數(shù)；yij為一個二值指標(biāo)，為類別j是否是輸入實例xi的真實類別；pij為模型或分類器預(yù)測輸入實例xi屬于類別j的概率模型優(yōu)化器.

1.3.2防止過擬合

1) 數(shù)據(jù)增強 對訓(xùn)練集數(shù)據(jù)進行旋轉(zhuǎn)、平移、適當(dāng)裁剪、灰度變換等操作，增加訓(xùn)練集數(shù)據(jù)的多樣性；同時加入一定量的不同車、人、視角等圖片置于訓(xùn)練集.

2) 采用dropout方式，對訓(xùn)練過程中的部分神經(jīng)元權(quán)重進行隨機丟棄，縮減參數(shù)量，避免過擬合，dropout方式經(jīng)過長時間的實踐檢驗證明可以有效防止過擬合[7].

3) 加入正則化系數(shù)進行正則化，加入BN層.

1.3.3模型優(yōu)化器

采用Adam優(yōu)化器.Adam結(jié)合了AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點，對梯度的一階矩估計和二階矩估計進行綜合考慮，計算出更新步長，從而進行參數(shù)優(yōu)化的方法.該方法易于實現(xiàn)，計算效率高，內(nèi)存要求小，適用于具有大數(shù)據(jù)或大參數(shù)、非平穩(wěn)目標(biāo)或具有非平穩(wěn)目標(biāo)、具有嘈雜或稀疏梯度的問題，同時該方法的超參數(shù)有直觀的解釋且調(diào)優(yōu)簡便[8].

1.3.4超參數(shù)優(yōu)化

包括batch_size、模型學(xué)習(xí)率lr、dropout、正則化系數(shù)，以及開始Fine-tune的網(wǎng)絡(luò)層數(shù)等.

針對神經(jīng)網(wǎng)絡(luò)超參數(shù)進行優(yōu)化的算法包括網(wǎng)格搜索法(grid search)、隨機搜索法[9](random search)及貝葉斯優(yōu)化算法[10](Bayesian optimization).本文選用貝葉斯優(yōu)化算法.

2 貝葉斯算法

貝葉斯優(yōu)化算法基于目標(biāo)函數(shù)的歷史評估結(jié)果去建立目標(biāo)函數(shù)的概率代理模型，從而尋找最小化目標(biāo)函數(shù)的參數(shù)值.

貝葉斯優(yōu)化算法有兩個核心內(nèi)容，即概率代理模型(PSM)和采集函數(shù)(AC)，概率代理模型根據(jù)概率框架對參數(shù)的不確定性進行建模，包含先驗概率模型和觀測模型，概率代理模型通過對先驗概率進行觀測，從而獲得包含更多先驗的后驗概率分布.采集函數(shù)由已觀測數(shù)據(jù)得到的后驗概率分布構(gòu)成，通過最大化采集函數(shù)從而獲得下一個最有“潛力”的參數(shù)評估點.

貝葉斯優(yōu)化算法的目標(biāo)在于最小化目標(biāo)函數(shù)值，為

x=argminx∈X?Rf(x)

(2)

f(x)=Loss(Tv,x)+ε

(3)

Loss(Tc,x)可用如下偽代碼表示：

def Loss(Tc,x)：

遷移學(xué)習(xí)模型(含有超參數(shù)x)；

訓(xùn)練集訓(xùn)練；

驗證集Tv驗證輸出Loss；

return logloss.

式中：f(x)為目標(biāo)函數(shù)；Tv為驗證集；Loss()為損失函數(shù)(文中為式(1)的lgloss函數(shù))；x為超參數(shù)；X為超參數(shù)域空間.

由于處于優(yōu)化過程，模型超參數(shù)x在算法終止前始終處于優(yōu)化狀態(tài)，因此真實的目標(biāo)函數(shù)f(x)是未知的，當(dāng)貝葉斯優(yōu)化算法終止時，超參數(shù)達到最優(yōu)，此時目標(biāo)函數(shù)為已知，即為所求的最優(yōu)化模型.

2.1 概率代理模型

依據(jù)模型是否有固定的參數(shù)集，概率代理模型分為參數(shù)模型和非參數(shù)模型.常用的參數(shù)模型有貝塔-伯努利模型、線性模型及廣義線性模型，非參數(shù)模型有高斯過程、隨機森林、深度學(xué)習(xí)網(wǎng)絡(luò)及Tree Parzen Estimators(TPE)[11]方法，由于TPE方法自身支持具有指定域空間的超參數(shù)，因此采用TPE構(gòu)建概率模型.

TPE方法與其他方法區(qū)別在于：TPE并不為目標(biāo)函數(shù)f(x)構(gòu)建預(yù)測概率模型，而采用式(4)的密度為所有的域變量生成概率模型.

(4)

式中：y*=min{f(xt),1≤t

2.2 采集函數(shù)

常用的采集函數(shù)有三類，基于提升的策略：PI、EI；基于信息的策略：湯普森采樣、熵搜索采樣、熵預(yù)測采樣；置信邊界策略及組合策略.文中采用基于提升策略中的Expected Improvement(EI)方法作為采集函數(shù)，并對其進行優(yōu)化.EI為關(guān)于x映射到實數(shù)空間R的期望函數(shù)，具有參數(shù)少、 在一定程度上可以平衡探索(exploration)與開發(fā)(exploitation)的優(yōu)點.

(5)

(6)

(7)

將式(6)、式(7)代入式(5)中可得：

(8)

為了最小化目標(biāo)函數(shù)f(x)，即希望x盡可能位于l(x)區(qū)域，從而β較大，因此通過最大化EIy*(x)，從而得到評估點x(i).

x(i)=argmax(EIy*(x))

(9)

2.3 文中貝葉斯優(yōu)化算法的實現(xiàn)

采用的貝葉斯算法優(yōu)化超參數(shù)方法為

步驟1input∶f、X、AC、PSM

步驟2H0←INITIALIZE(f、X)

步驟3for i←1 to t:

步驟4f(x)←TPE(Ht-1) %p(x|y,H)←FITMODEL(H,PSM)

步驟5x(i)=argmax(EIy*(x))

步驟6y*=min(f(xi),H)

步驟7H←H∪(x*,y*)

步驟8end for

步驟9return argmin(g∈Ht) (g,Tv)

3 實驗與結(jié)果分析

實驗軟件采用基于pycharm2018，python3.5版本的jupyter開發(fā)環(huán)境，結(jié)合keras2.2.0框架.硬件工作站處理器為Intel Core i9-8950 CPU，運行速度2.9 GHz，GPU為NVIDIA Quadro P2000，內(nèi)存32 GB.

Mobilenet_V2遷移學(xué)習(xí)模型中的超參數(shù)及其域空間見表2.

表2 Mobilenet_V2遷移學(xué)習(xí)模型超參數(shù)及其域空間

3.1 貝葉斯算法優(yōu)化結(jié)果與分析

采用貝葉斯優(yōu)化算法對模型進行超參數(shù)優(yōu)化，優(yōu)化結(jié)果見表3.

表3 超參數(shù)優(yōu)化結(jié)果

3.2 遷移學(xué)習(xí)模型

將表3中貝葉斯算法優(yōu)化的超參數(shù)代入神經(jīng)網(wǎng)絡(luò)模型，經(jīng)訓(xùn)練觀察其loss與accuracy變化，并與隨機搜索算法優(yōu)化結(jié)果進行對比(網(wǎng)格搜索法由于實際應(yīng)用時計算量成本特別大，因此不常用于大樣本深度學(xué)習(xí)參數(shù)優(yōu)化，因此文中試驗不進行網(wǎng)格搜索法的優(yōu)化).

相較于隨機搜索算法，在算法運行時間方面，貝葉斯算法運行時間為隨機算法的60%.在模型優(yōu)化結(jié)果方面(見圖1～2)，貝葉斯優(yōu)化結(jié)果模型更加收斂，模型沒有出現(xiàn)過擬合現(xiàn)象，驗證集準(zhǔn)確率在86%以上，高于隨機算法結(jié)果.在模型損失方面，貝葉斯結(jié)果驗證損失為0.35，低于隨機算法結(jié)果；綜合對比之下，貝葉斯算法更具優(yōu)勢.

圖1 貝葉斯算法參數(shù)模型圖表

圖2 隨機搜索算法參數(shù)模型l圖表

3.3 實驗與結(jié)果分析

對貝葉斯最優(yōu)模型進行可靠性實驗，從測試集中抽取200張圖像構(gòu)建模型測試集，準(zhǔn)確率實驗結(jié)果見表4.

表4 模型測試準(zhǔn)確率圖表

將模型用于監(jiān)測駕駛員狀態(tài)，采用類激活映射圖(CAM)以更直觀觀測，結(jié)果見圖3.

圖3 類激活映射圖(CAM圖特征區(qū)域中，灰度值約小區(qū)域表示該區(qū)域激活值更大)

由圖3可知，駕駛員狀態(tài)圖像中，特征重要區(qū)域的激活值明顯大于其他區(qū)域的激活值，因此可以看出經(jīng)過貝葉斯算法優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型，在學(xué)習(xí)類別特征時能自主的學(xué)習(xí)重要區(qū)域的特征，對于非重要區(qū)域的特征少學(xué)習(xí)或不學(xué)習(xí).

綜上所述，貝葉斯算法能夠提供極好的模型超參數(shù)，使得模型在具有良好的泛化性能，對于駕駛員狀態(tài)的檢測也能夠達到預(yù)期目標(biāo).

4 結(jié) 束 語

針對汽車行駛過程中駕駛員狀態(tài)監(jiān)測問題，文中采用了一種基于遷移學(xué)習(xí)方式的解決方法，并采用貝葉斯算法對其進行超參數(shù)優(yōu)化，根據(jù)最終的實驗結(jié)果，該方法對于中國汽車駕駛員具有較高的識別準(zhǔn)確率.但文中方法也有不足，該方法在一定的環(huán)境下對駕駛員狀態(tài)具有較高的識別準(zhǔn)確性，但當(dāng)車輛外部環(huán)境較為復(fù)雜且車窗打開時，識別準(zhǔn)確率有所降低，下一步的研究重點將是采用一定的數(shù)據(jù)處理方式降低周邊噪聲對結(jié)果的影響.