一種基于HOG和SVM的人眼開閉狀態(tài)實時檢測方法

宋建華 袁磊 李嘉辰 李祜來 侯珂 黨莉彬

摘 要：設(shè)計一種基于人眼開閉狀態(tài)的非接觸式疲勞駕駛實時檢測方法.利用支持向量機(jī)（SVM）方法構(gòu)造人臉識別分類器，設(shè)計一種基于面部坐標(biāo)點(diǎn)定位的方法，快速定位人眼區(qū)域，實現(xiàn)對駕駛員人眼閉合活動的實時檢測;利用PERCLOS疲勞判定標(biāo)準(zhǔn)判斷駕駛員是否存在疲勞駕駛行為.實驗結(jié)果表明，該系統(tǒng)可對疲勞駕駛進(jìn)行有效檢測，并及時做出警告提醒.

關(guān)鍵詞：機(jī)器視覺; 疲勞駕駛檢測; HOG特征; 支持向量機(jī); 面部坐標(biāo)

[中圖分類號]TP391.4 ? [文獻(xiàn)標(biāo)志碼]A

隨著我國交通運(yùn)輸業(yè)和汽車產(chǎn)業(yè)的快速發(fā)展，駕駛安全成為了一個不可忽視的問題.具不完全統(tǒng)計，大約有20%的交通事故源于司機(jī)疲勞駕駛意識不清醒導(dǎo)致的車禍發(fā)生.因此，有效避免疲勞駕駛已成為交通安全領(lǐng)域重要研究課題之一，目的是對駕駛員進(jìn)行實時監(jiān)測并提前預(yù)警，規(guī)避危險駕駛行為，保證交通安全.

疲勞駕駛檢測方案主要可以分為接觸式和非接觸式兩大類.接觸式方案主要通過佩戴傳感器來檢測駕駛員的心電、腦電波等體征信息從而做出判斷[1]，其弊端是會使駕駛員感到不適和不方便，給駕駛帶來額外的隱患.非接觸式通過攝像頭捕獲駕駛員影像并對影像進(jìn)行實時處理分析，可有效避免接觸式檢測裝置帶來的問題.[2]近年來，隨著機(jī)器學(xué)習(xí)、計算機(jī)視覺技術(shù)的快速發(fā)展[3]，利用視頻圖像分析手段構(gòu)建疲勞駕駛檢測系統(tǒng)成為研究熱點(diǎn).本文基于機(jī)器視覺技術(shù)，設(shè)計開發(fā)了一種非接觸式的實時疲勞駕駛檢測方法.首先在獲取方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征并采用支持向量機(jī)（Support vector machine，SVM）分類器算法的基礎(chǔ)上，對攝像頭采集的影像視頻流進(jìn)行人臉特征識別和人眼區(qū)域定位，設(shè)計衡量眼睛閉合程度的計算方法，利用卡內(nèi)基梅隆研究所提出的PERCLOS（Percentage of eyelid closure over the pupil，over time）[4]疲勞判定標(biāo)準(zhǔn)判斷駕駛員是否存在疲勞駕駛行為.

1 技術(shù)基礎(chǔ)

1.1 人臉與人眼的檢測與識別

人臉的檢測和識別是指利用技術(shù)手段將人的臉部從給定的復(fù)雜圖像背景中分離出來，并判定其位置、大小、姿態(tài)的過程.人眼識別定位是建立在人臉檢測基礎(chǔ)上的，本文基于統(tǒng)計理論的人臉檢測方法[5]，通過統(tǒng)計分析和機(jī)器學(xué)習(xí)來尋找人臉樣本與非人臉樣本各自的統(tǒng)計特征，再用各自的特征構(gòu)建分類器，從而實現(xiàn)人臉檢測.然后縮小查找區(qū)域，基于人臉的面部坐標(biāo)定位，利用人臉五官特征點(diǎn)坐標(biāo)從而快速定位到眼睛的區(qū)域位置.

1.2 HOG特征提取

HOG特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行目標(biāo)特征檢測的描述子.[6]HOG的核心思想是在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述.它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征.[7]由于HOG是在圖像的局部胞元上操作，所以它對圖像幾何和光學(xué)的形變都能保持良好的不變性.

設(shè)圖像中像素點(diǎn)（x，y）灰度值為H（x，y），該像素點(diǎn)的水平方向和垂直方向梯度計算方法為：

2 系統(tǒng)軟硬件設(shè)計與實現(xiàn)

2.1 系統(tǒng)模塊構(gòu)成

按照系統(tǒng)需求分析，本系統(tǒng)應(yīng)分為三大模塊：視頻采集捕獲模塊、圖像處理模塊和疲勞檢測判斷報警模塊.各模塊功能見表1.

2.2 系統(tǒng)硬件構(gòu)成

系統(tǒng)采用Intel酷睿I3處理器和羅技Pro9000攝像頭.攝像頭負(fù)責(zé)采集視頻;處理器負(fù)責(zé)對算法進(jìn)行編譯執(zhí)行，同時為軟件提供環(huán)境支持.系統(tǒng)總硬件詳細(xì)構(gòu)成見表2.

2.3 系統(tǒng)軟件設(shè)計

系統(tǒng)發(fā)起開啟攝像頭的線程請求，若攝像頭正常開啟，便采集視頻流.

2.3.1 圖像預(yù)處理

圖像灰度化 由于RGB彩色圖像信息量多有冗余，容易受光照影響，需對圖像進(jìn)行灰度化預(yù)處理.灰度化圖像雖然彩色信息丟失，但HOG特征提取的核心是依賴于梯度計算，對于彩色的依賴性不強(qiáng)，且灰度化之后矩陣維數(shù)下降，運(yùn)算速度大幅度提高，同時可減小一定的噪聲點(diǎn)和光照因素干擾.

圖像亮度校正 實際駕駛過程中，由于白天光照強(qiáng)而夜間光照弱，所獲取的圖像容易受到光照因素的影響.此時，可以通過對圖像Gamma值的調(diào)整對對比度偏低或亮度過高的圖像進(jìn)行校正.圖像的Gamma值大于1時，對圖像的灰度分布直方圖具有拉伸作用（使灰度向高灰度值延展），Gamma值小于1時，對圖像的灰度分布直方圖具有收縮作用（使灰度向低灰度值聚攏）.[9]因此，結(jié)合圖像亮度信息來動態(tài)調(diào)整Gamma值，可有效減小光照因素的影響.

2.3.2 構(gòu)建人臉檢測器

結(jié)合圖像HOG特征和SVM，可以構(gòu)建一個強(qiáng)大的人臉檢測分類器.

（1）訓(xùn)練過程

第一步，挑選1 000張960×720像素的同一人照片作為正樣本，規(guī)格化并把人臉特征從背景中摳取出來，得到200×250像素大小的樣本，計算其HOG特征，提取得到人臉HOG特征描述子.

第二步，挑選10 000張與正樣本內(nèi)容無關(guān)并且不含檢測目標(biāo)的負(fù)樣本，確保負(fù)樣本每張像素大小也為200×250像素，得到負(fù)樣本的HOG特征描述子.

第三步，利用SVM訓(xùn)練正負(fù)樣本并分類，若SVM分類器出現(xiàn)誤檢，則將其作為負(fù)樣本重新加入，再次訓(xùn)練分類器模型.

第四步，檢驗分類器能否正確歸類，對每一個測試圖像定位提取HOG特征.使用當(dāng)前的HOG特征評估訓(xùn)練的SVM分類概率，如果超過設(shè)置的閾值，則區(qū)域中包含目標(biāo)，否則不包含.

（2）面部標(biāo)記檢測

基于Dlib庫中附帶的預(yù)先訓(xùn)練完成的檢測器，對人臉68個特征點(diǎn)坐標(biāo)進(jìn)行標(biāo)記.成功標(biāo)記出測試圖片人臉的下巴、嘴巴、鼻子、左右眼睛和左右眉毛，如圖1所示.

2.3.3 人眼定位及閉合程度檢測

根據(jù)圖1的特征標(biāo)記點(diǎn)可以得到兩只眼睛的坐標(biāo)，每只眼睛由p1-p6這6個（x， y）坐標(biāo)組成，由此直接追蹤左右眼的興趣區(qū)域ROI（Region of Interest）點(diǎn)坐標(biāo)，從而獲得對人眼區(qū)域的定位.如圖2所示.

3 系統(tǒng)測試與實驗結(jié)果

啟動系統(tǒng)，使攝像頭正對被測試者的面部，分別在上午9點(diǎn)時段和傍晚18點(diǎn)時段進(jìn)行測試.眼睛為張開狀態(tài)，檢測EAR大于0.25，為正常駕駛狀態(tài);眼睛為閉合狀態(tài)，檢測EAR小于0.25，由于特定時間內(nèi)閉合時間過長，超過PERCLOS所設(shè)定的閾值T，觸發(fā)了疲勞駕駛屏幕文字報警提示和蜂鳴提示，實際測試效果如圖4所示.

為了驗證系統(tǒng)檢驗的準(zhǔn)確性，分別在白天和夜間環(huán)境下，各做了5組測試，每組測試時長為60秒，采集捕獲的視頻為每秒25幀圖像，一組1 500幀圖像，每張圖像大小為450×320像素.測試結(jié)果如表3所示.從表3可以看出，白天測試時平均相對誤差為0.998%，夜間測試的平均相對誤差為1.456%，兩者相差不大，說明光照因素對系統(tǒng)影響很小，從而體現(xiàn)了系統(tǒng)較好的魯棒性和準(zhǔn)確性.

進(jìn)行不同場景下（清醒駕駛狀態(tài)和疲勞駕駛狀態(tài)下）的測試，觀察系統(tǒng)能否正確反饋信息.共記錄了三組測試數(shù)據(jù)，記錄每組前60秒內(nèi)得到的PERCLOS值和測試的實際狀態(tài)作為參照，測試結(jié)果見表4.

從測試結(jié)果可看出，系統(tǒng)對清醒狀態(tài)和疲勞狀態(tài)辨別準(zhǔn)確，PERCLOS結(jié)果和實際狀態(tài)也完全匹配，95%以上的正確率體現(xiàn)了系統(tǒng)較好的穩(wěn)定性和準(zhǔn)確性.

4 結(jié)語

本文通過提取HOG特征，構(gòu)建SVM分類器，訓(xùn)練一定數(shù)據(jù)量的人臉樣本檢測人臉.借助Dlib人臉特征點(diǎn)檢測器進(jìn)一步獲得68個人臉特征點(diǎn)坐標(biāo)，由面部五官不變的坐標(biāo)點(diǎn)興趣區(qū)域，得到了一種快速眼睛定位的方法.在眼睛定位的基礎(chǔ)上，提出計算人眼閉合程度的EAR方法，設(shè)置恰當(dāng)?shù)腅AR閾值，結(jié)合PERCLOS的P80標(biāo)準(zhǔn)，判斷人眼的閉合狀態(tài).實驗結(jié)果表明，該方法實現(xiàn)了對駕駛員是否疲勞駕駛的檢測，有較高的準(zhǔn)確率.

參考文獻(xiàn)

[1]Y.Tsai，P.Lai，P.Huang，et al.Vision-Based Instant Measurement System for Driver Fatigue Monitoring[J].IEEE Access，2020，8：67342-67353.

[2]曹景勝，李剛，石晶，等.非接觸式汽車駕駛員心電監(jiān)測系統(tǒng)設(shè)計[J].科學(xué)技術(shù)與工程，2019，19（03）：112-117.

[3]王力超，羅建，劉丙友，等.基于機(jī)器視覺的智能小車導(dǎo)航系統(tǒng)研究[J].牡丹江師范學(xué)院學(xué)報;自然科學(xué)版，2019（01）：29-33.

[4]S.Gopi，E.Punarselvam，K.Dhivya，et al.Driver Drowsiness Detection Based on Face Feature and Perclos[J].International Journal of Scientific Research in Science and Technology，2021：108-112.

[5]楊旭林，高凱，盧萬平，等.一種用于監(jiān)測城軌車輛司機(jī)盹睡系統(tǒng)的設(shè)計與實現(xiàn)[J].鐵道機(jī)車車輛，2021，41（03）：132-136.

[6]許佳奕，薛鑫營，李建軍，等.結(jié)合多尺度HOG特征和語義屬性的合成素描人臉識別[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2020，32（2）： 297-304.

[7]姚立平，潘中良.基于改進(jìn)的HOG和LBP算法的人臉識別方法研究[J].光電子技術(shù)，2020，40（02）：114-118+124.

[8]王立國，趙亮，劉丹鳳.SVM在高光譜圖像處理中的應(yīng)用綜述[J].哈爾濱工程大學(xué)學(xué)報，2018，39（6）：973-983.

[9]關(guān)雪梅.幾種圖像平滑處理方法比較研究[J].牡丹江師范學(xué)院學(xué)報：自然科學(xué)版，2016（04）：31-33.

編輯：琳莉