一種基于HOG和SVM的人眼開(kāi)閉狀態(tài)實(shí)時(shí)檢測(cè)方法

宋建華 袁磊 李嘉辰 李祜來(lái) 侯珂 黨莉彬

摘 要：設(shè)計(jì)一種基于人眼開(kāi)閉狀態(tài)的非接觸式疲勞駕駛實(shí)時(shí)檢測(cè)方法.利用支持向量機(jī)（SVM）方法構(gòu)造人臉識(shí)別分類器，設(shè)計(jì)一種基于面部坐標(biāo)點(diǎn)定位的方法，快速定位人眼區(qū)域，實(shí)現(xiàn)對(duì)駕駛員人眼閉合活動(dòng)的實(shí)時(shí)檢測(cè);利用PERCLOS疲勞判定標(biāo)準(zhǔn)判斷駕駛員是否存在疲勞駕駛行為.實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可對(duì)疲勞駕駛進(jìn)行有效檢測(cè)，并及時(shí)做出警告提醒.

關(guān)鍵詞：機(jī)器視覺(jué); 疲勞駕駛檢測(cè); HOG特征; 支持向量機(jī); 面部坐標(biāo)

[中圖分類號(hào)]TP391.4 ? [文獻(xiàn)標(biāo)志碼]A

隨著我國(guó)交通運(yùn)輸業(yè)和汽車(chē)產(chǎn)業(yè)的快速發(fā)展，駕駛安全成為了一個(gè)不可忽視的問(wèn)題.具不完全統(tǒng)計(jì)，大約有20%的交通事故源于司機(jī)疲勞駕駛意識(shí)不清醒導(dǎo)致的車(chē)禍發(fā)生.因此，有效避免疲勞駕駛已成為交通安全領(lǐng)域重要研究課題之一，目的是對(duì)駕駛員進(jìn)行實(shí)時(shí)監(jiān)測(cè)并提前預(yù)警，規(guī)避危險(xiǎn)駕駛行為，保證交通安全.

疲勞駕駛檢測(cè)方案主要可以分為接觸式和非接觸式兩大類.接觸式方案主要通過(guò)佩戴傳感器來(lái)檢測(cè)駕駛員的心電、腦電波等體征信息從而做出判斷[1]，其弊端是會(huì)使駕駛員感到不適和不方便，給駕駛帶來(lái)額外的隱患.非接觸式通過(guò)攝像頭捕獲駕駛員影像并對(duì)影像進(jìn)行實(shí)時(shí)處理分析，可有效避免接觸式檢測(cè)裝置帶來(lái)的問(wèn)題.[2]近年來(lái)，隨著機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展[3]，利用視頻圖像分析手段構(gòu)建疲勞駕駛檢測(cè)系統(tǒng)成為研究熱點(diǎn).本文基于機(jī)器視覺(jué)技術(shù)，設(shè)計(jì)開(kāi)發(fā)了一種非接觸式的實(shí)時(shí)疲勞駕駛檢測(cè)方法.首先在獲取方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征并采用支持向量機(jī)（Support vector machine，SVM）分類器算法的基礎(chǔ)上，對(duì)攝像頭采集的影像視頻流進(jìn)行人臉特征識(shí)別和人眼區(qū)域定位，設(shè)計(jì)衡量眼睛閉合程度的計(jì)算方法，利用卡內(nèi)基梅隆研究所提出的PERCLOS（Percentage of eyelid closure over the pupil，over time）[4]疲勞判定標(biāo)準(zhǔn)判斷駕駛員是否存在疲勞駕駛行為.

1 技術(shù)基礎(chǔ)

1.1 人臉與人眼的檢測(cè)與識(shí)別

人臉的檢測(cè)和識(shí)別是指利用技術(shù)手段將人的臉部從給定的復(fù)雜圖像背景中分離出來(lái)，并判定其位置、大小、姿態(tài)的過(guò)程.人眼識(shí)別定位是建立在人臉檢測(cè)基礎(chǔ)上的，本文基于統(tǒng)計(jì)理論的人臉檢測(cè)方法[5]，通過(guò)統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)來(lái)尋找人臉樣本與非人臉樣本各自的統(tǒng)計(jì)特征，再用各自的特征構(gòu)建分類器，從而實(shí)現(xiàn)人臉檢測(cè).然后縮小查找區(qū)域，基于人臉的面部坐標(biāo)定位，利用人臉五官特征點(diǎn)坐標(biāo)從而快速定位到眼睛的區(qū)域位置.

1.2 HOG特征提取

HOG特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行目標(biāo)特征檢測(cè)的描述子.[6]HOG的核心思想是在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述.它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征.[7]由于HOG是在圖像的局部胞元上操作，所以它對(duì)圖像幾何和光學(xué)的形變都能保持良好的不變性.

設(shè)圖像中像素點(diǎn)（x，y）灰度值為H（x，y），該像素點(diǎn)的水平方向和垂直方向梯度計(jì)算方法為：

2 系統(tǒng)軟硬件設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)模塊構(gòu)成

按照系統(tǒng)需求分析，本系統(tǒng)應(yīng)分為三大模塊：視頻采集捕獲模塊、圖像處理模塊和疲勞檢測(cè)判斷報(bào)警模塊.各模塊功能見(jiàn)表1.

2.2 系統(tǒng)硬件構(gòu)成

系統(tǒng)采用Intel酷睿I3處理器和羅技Pro9000攝像頭.攝像頭負(fù)責(zé)采集視頻;處理器負(fù)責(zé)對(duì)算法進(jìn)行編譯執(zhí)行，同時(shí)為軟件提供環(huán)境支持.系統(tǒng)總硬件詳細(xì)構(gòu)成見(jiàn)表2.

2.3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)發(fā)起開(kāi)啟攝像頭的線程請(qǐng)求，若攝像頭正常開(kāi)啟，便采集視頻流.

2.3.1 圖像預(yù)處理

圖像灰度化 由于RGB彩色圖像信息量多有冗余，容易受光照影響，需對(duì)圖像進(jìn)行灰度化預(yù)處理.灰度化圖像雖然彩色信息丟失，但HOG特征提取的核心是依賴于梯度計(jì)算，對(duì)于彩色的依賴性不強(qiáng)，且灰度化之后矩陣維數(shù)下降，運(yùn)算速度大幅度提高，同時(shí)可減小一定的噪聲點(diǎn)和光照因素干擾.

圖像亮度校正 實(shí)際駕駛過(guò)程中，由于白天光照強(qiáng)而夜間光照弱，所獲取的圖像容易受到光照因素的影響.此時(shí)，可以通過(guò)對(duì)圖像Gamma值的調(diào)整對(duì)對(duì)比度偏低或亮度過(guò)高的圖像進(jìn)行校正.圖像的Gamma值大于1時(shí)，對(duì)圖像的灰度分布直方圖具有拉伸作用（使灰度向高灰度值延展），Gamma值小于1時(shí)，對(duì)圖像的灰度分布直方圖具有收縮作用（使灰度向低灰度值聚攏）.[9]因此，結(jié)合圖像亮度信息來(lái)動(dòng)態(tài)調(diào)整Gamma值，可有效減小光照因素的影響.

2.3.2 構(gòu)建人臉檢測(cè)器

結(jié)合圖像HOG特征和SVM，可以構(gòu)建一個(gè)強(qiáng)大的人臉檢測(cè)分類器.

（1）訓(xùn)練過(guò)程

第一步，挑選1 000張960×720像素的同一人照片作為正樣本，規(guī)格化并把人臉特征從背景中摳取出來(lái)，得到200×250像素大小的樣本，計(jì)算其HOG特征，提取得到人臉HOG特征描述子.

第二步，挑選10 000張與正樣本內(nèi)容無(wú)關(guān)并且不含檢測(cè)目標(biāo)的負(fù)樣本，確保負(fù)樣本每張像素大小也為200×250像素，得到負(fù)樣本的HOG特征描述子.

第三步，利用SVM訓(xùn)練正負(fù)樣本并分類，若SVM分類器出現(xiàn)誤檢，則將其作為負(fù)樣本重新加入，再次訓(xùn)練分類器模型.

第四步，檢驗(yàn)分類器能否正確歸類，對(duì)每一個(gè)測(cè)試圖像定位提取HOG特征.使用當(dāng)前的HOG特征評(píng)估訓(xùn)練的SVM分類概率，如果超過(guò)設(shè)置的閾值，則區(qū)域中包含目標(biāo)，否則不包含.

（2）面部標(biāo)記檢測(cè)

基于Dlib庫(kù)中附帶的預(yù)先訓(xùn)練完成的檢測(cè)器，對(duì)人臉68個(gè)特征點(diǎn)坐標(biāo)進(jìn)行標(biāo)記.成功標(biāo)記出測(cè)試圖片人臉的下巴、嘴巴、鼻子、左右眼睛和左右眉毛，如圖1所示.

2.3.3 人眼定位及閉合程度檢測(cè)

根據(jù)圖1的特征標(biāo)記點(diǎn)可以得到兩只眼睛的坐標(biāo)，每只眼睛由p1-p6這6個(gè)（x， y）坐標(biāo)組成，由此直接追蹤左右眼的興趣區(qū)域ROI（Region of Interest）點(diǎn)坐標(biāo)，從而獲得對(duì)人眼區(qū)域的定位.如圖2所示.

3 系統(tǒng)測(cè)試與實(shí)驗(yàn)結(jié)果

啟動(dòng)系統(tǒng)，使攝像頭正對(duì)被測(cè)試者的面部，分別在上午9點(diǎn)時(shí)段和傍晚18點(diǎn)時(shí)段進(jìn)行測(cè)試.眼睛為張開(kāi)狀態(tài)，檢測(cè)EAR大于0.25，為正常駕駛狀態(tài);眼睛為閉合狀態(tài)，檢測(cè)EAR小于0.25，由于特定時(shí)間內(nèi)閉合時(shí)間過(guò)長(zhǎng)，超過(guò)PERCLOS所設(shè)定的閾值T，觸發(fā)了疲勞駕駛屏幕文字報(bào)警提示和蜂鳴提示，實(shí)際測(cè)試效果如圖4所示.

為了驗(yàn)證系統(tǒng)檢驗(yàn)的準(zhǔn)確性，分別在白天和夜間環(huán)境下，各做了5組測(cè)試，每組測(cè)試時(shí)長(zhǎng)為60秒，采集捕獲的視頻為每秒25幀圖像，一組1 500幀圖像，每張圖像大小為450×320像素.測(cè)試結(jié)果如表3所示.從表3可以看出，白天測(cè)試時(shí)平均相對(duì)誤差為0.998%，夜間測(cè)試的平均相對(duì)誤差為1.456%，兩者相差不大，說(shuō)明光照因素對(duì)系統(tǒng)影響很小，從而體現(xiàn)了系統(tǒng)較好的魯棒性和準(zhǔn)確性.

進(jìn)行不同場(chǎng)景下（清醒駕駛狀態(tài)和疲勞駕駛狀態(tài)下）的測(cè)試，觀察系統(tǒng)能否正確反饋信息.共記錄了三組測(cè)試數(shù)據(jù)，記錄每組前60秒內(nèi)得到的PERCLOS值和測(cè)試的實(shí)際狀態(tài)作為參照，測(cè)試結(jié)果見(jiàn)表4.

從測(cè)試結(jié)果可看出，系統(tǒng)對(duì)清醒狀態(tài)和疲勞狀態(tài)辨別準(zhǔn)確，PERCLOS結(jié)果和實(shí)際狀態(tài)也完全匹配，95%以上的正確率體現(xiàn)了系統(tǒng)較好的穩(wěn)定性和準(zhǔn)確性.

4 結(jié)語(yǔ)

本文通過(guò)提取HOG特征，構(gòu)建SVM分類器，訓(xùn)練一定數(shù)據(jù)量的人臉樣本檢測(cè)人臉.借助Dlib人臉特征點(diǎn)檢測(cè)器進(jìn)一步獲得68個(gè)人臉特征點(diǎn)坐標(biāo)，由面部五官不變的坐標(biāo)點(diǎn)興趣區(qū)域，得到了一種快速眼睛定位的方法.在眼睛定位的基礎(chǔ)上，提出計(jì)算人眼閉合程度的EAR方法，設(shè)置恰當(dāng)?shù)腅AR閾值，結(jié)合PERCLOS的P80標(biāo)準(zhǔn)，判斷人眼的閉合狀態(tài).實(shí)驗(yàn)結(jié)果表明，該方法實(shí)現(xiàn)了對(duì)駕駛員是否疲勞駕駛的檢測(cè)，有較高的準(zhǔn)確率.

參考文獻(xiàn)

[1]Y.Tsai，P.Lai，P.Huang，et al.Vision-Based Instant Measurement System for Driver Fatigue Monitoring[J].IEEE Access，2020，8：67342-67353.

[2]曹景勝，李剛，石晶，等.非接觸式汽車(chē)駕駛員心電監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J].科學(xué)技術(shù)與工程，2019，19（03）：112-117.

[3]王力超，羅建，劉丙友，等.基于機(jī)器視覺(jué)的智能小車(chē)導(dǎo)航系統(tǒng)研究[J].牡丹江師范學(xué)院學(xué)報(bào);自然科學(xué)版，2019（01）：29-33.

[4]S.Gopi，E.Punarselvam，K.Dhivya，et al.Driver Drowsiness Detection Based on Face Feature and Perclos[J].International Journal of Scientific Research in Science and Technology，2021：108-112.

[5]楊旭林，高凱，盧萬(wàn)平，等.一種用于監(jiān)測(cè)城軌車(chē)輛司機(jī)盹睡系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].鐵道機(jī)車(chē)車(chē)輛，2021，41（03）：132-136.

[6]許佳奕，薛鑫營(yíng)，李建軍，等.結(jié)合多尺度HOG特征和語(yǔ)義屬性的合成素描人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020，32（2）： 297-304.

[7]姚立平，潘中良.基于改進(jìn)的HOG和LBP算法的人臉識(shí)別方法研究[J].光電子技術(shù)，2020，40（02）：114-118+124.

[8]王立國(guó)，趙亮，劉丹鳳.SVM在高光譜圖像處理中的應(yīng)用綜述[J].哈爾濱工程大學(xué)學(xué)報(bào)，2018，39（6）：973-983.

[9]關(guān)雪梅.幾種圖像平滑處理方法比較研究[J].牡丹江師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2016（04）：31-33.

編輯：琳莉