面部特征融合的電力作業(yè)頭疲勞檢測(cè)方法研究

賈小云，周玲羽，任江，張楠

（1.陜西科技大學(xué)電氣與信息工程學(xué)院，陜西西安 710021；2.陜西農(nóng)產(chǎn)品加工技術(shù)研究院，陜西西安 710021）

面部特征融合的電力作業(yè)頭疲勞檢測(cè)方法研究

賈小云1，周玲羽1，任江1，張楠2

（1.陜西科技大學(xué)電氣與信息工程學(xué)院，陜西西安 710021；2.陜西農(nóng)產(chǎn)品加工技術(shù)研究院，陜西西安 710021）

針對(duì)電力員工作業(yè)疲勞狀態(tài)檢測(cè)過(guò)程中存在光照不均、噪聲干擾以及準(zhǔn)確率低等問(wèn)題，在AdaBoost級(jí)聯(lián)分類(lèi)器算法的基礎(chǔ)上，提出一種對(duì)電力員工進(jìn)行多特征疲勞狀態(tài)檢測(cè)的方法。首先，對(duì)圖像進(jìn)行預(yù)處理，利用Retinex算法對(duì)圖像進(jìn)行增強(qiáng)；其次，用Haar特征表示人臉特征，LBP特征表示眼部和嘴部特征，利用訓(xùn)練好的分類(lèi)器進(jìn)行人臉檢測(cè)以及眼部、嘴部特征的提??；最后，根據(jù)眼部高寬比和嘴部寬高比分別對(duì)眼部閉合狀態(tài)和嘴部張閉狀態(tài)進(jìn)行判別，并用PERCLOS原理統(tǒng)計(jì)員工眼部閉合頻率，結(jié)合打哈欠時(shí)嘴部規(guī)律性閉合情況來(lái)完成疲勞狀態(tài)判別。實(shí)驗(yàn)結(jié)果表明：該方法能在復(fù)雜背景下快速檢測(cè)出疲勞狀態(tài)，具有較強(qiáng)的適應(yīng)性和魯棒性。

疲勞作業(yè)檢測(cè)；AdaBoost；Retinex算法；Haar特征；LBP特征

隨著電網(wǎng)規(guī)模的不斷擴(kuò)大和操作過(guò)程的日益復(fù)雜化，電力各從業(yè)人員相應(yīng)的作業(yè)越來(lái)越繁瑣，安全工作環(huán)境和清醒工作狀態(tài)尤為重要。然而，每年因工人疲勞作業(yè)所造成的事故不容樂(lè)觀，疲勞作業(yè)逐漸成為社會(huì)關(guān)注的焦點(diǎn)。因此，研究一種能實(shí)時(shí)檢測(cè)駕駛員疲勞狀態(tài)的方法，具有非常實(shí)際的意義[1]。

目前疲勞作業(yè)檢測(cè)研究方法可以分成2大類(lèi)，第一類(lèi)主要是從檢查對(duì)象自身特征出發(fā)，通過(guò)圖像采集設(shè)備獲取生理參數(shù)特征或者視覺(jué)特征，用模式識(shí)別技術(shù)判別駕駛員是否疲勞；第二類(lèi)是通過(guò)傳感器獲取車(chē)輛行駛過(guò)程中的各種參數(shù)，根據(jù)其異常情況判斷駕駛員是否疲勞。其中第一類(lèi)檢測(cè)研究技術(shù)又可以分為2個(gè)方面：一是檢測(cè)對(duì)象生理參數(shù)疲勞檢測(cè)技術(shù)[2]，該方法是通過(guò)某些設(shè)備得出檢測(cè)對(duì)象的有關(guān)生理參數(shù)，如腦電圖（EEG）[3]、眼電圖（EOG）[4]和心電圖（ECG）[5]等，根據(jù)參數(shù)變化情況來(lái)判斷是否產(chǎn)生疲勞[6]；二是駕駛員視覺(jué)特征疲勞檢測(cè)技術(shù)，該方法是利用攝像機(jī)和計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理和模式識(shí)別等技術(shù)提取表征疲勞的特征，對(duì)特征進(jìn)行分類(lèi)識(shí)別從而判斷是否產(chǎn)生疲勞[7-8]。本文所采用的是疲勞檢測(cè)方法即駕駛員視覺(jué)特征疲勞檢測(cè)技術(shù)。先

通過(guò)圖像采集設(shè)備得到人臉視頻圖像，對(duì)其進(jìn)行預(yù)處理后，通過(guò)AdaBoost算法訓(xùn)練分類(lèi)器，將提取到的人臉眼部特征和嘴部特征分離出來(lái)，二者進(jìn)行融合判斷駕駛員是否疲勞。

1 AdaBoost檢測(cè)原理

作業(yè)人員疲勞檢測(cè)中的3個(gè)關(guān)鍵環(huán)節(jié)分別是人臉跟蹤檢測(cè)、眼嘴特征提取以及疲勞狀態(tài)判別，根據(jù)這3部分利用OpenCV（open source computer vision library，OpenCV） 實(shí)現(xiàn)一種在AdaBoost（adaptive boosting，AdaBoost）算法提取疲勞特征的基礎(chǔ)上，利用多特征融合來(lái)判斷駕駛員疲勞狀態(tài)的方法。在AdaBoost檢測(cè)算法中需要對(duì)檢測(cè)目標(biāo)進(jìn)行特征提取[9]，人臉特征采用Haar（haar-like，Haar）特征進(jìn)行表示，眼部和嘴部檢測(cè)將用LBP（local binary pattern，LBP）特征進(jìn)行表示，并利用OpenCV提供的Adaboost訓(xùn)練器訓(xùn)練分類(lèi)器。AdaBoost算法的流程圖如圖1所示。

圖1 AdaBoost眼/嘴檢測(cè)流程Fig.1 AdaBoost eye/mouth detection process

1.1 圖像預(yù)處理

由于光照以及外界噪聲等因素的干擾，在采集人臉視頻圖像時(shí)會(huì)出現(xiàn)光照不均的現(xiàn)象，對(duì)后續(xù)圖像處理和檢測(cè)結(jié)果產(chǎn)生一定影響[10]。采用MSR（multi scale retinex，MSR）算法對(duì)圖像進(jìn)行增強(qiáng)處理[11]，Retinex算法可以從3個(gè)方面（即邊緣增強(qiáng)、顏色恒常、動(dòng)態(tài)范圍壓縮）對(duì)圖像進(jìn)行增強(qiáng)處理，且能夠在這3個(gè)方面達(dá)到平衡[12]，其優(yōu)點(diǎn)是可以同時(shí)保持圖像高保真度和對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行壓縮[13]。其公式為：

式中：S（x，y）為原始圖像；r（x，y）為輸出圖像；*為卷積符號(hào)；F（x，y）為中心環(huán)繞函數(shù)；K為高斯中心環(huán)繞函數(shù)的個(gè)數(shù)；c為高斯環(huán)繞尺度；λ為尺度。通常取K=3，且W1=W2=W3=1/3，可保證MSR同時(shí)兼有SSR（single scale retinex，SSR）高、中、低3個(gè)尺度的優(yōu)點(diǎn)，c分別取15、80、120會(huì)得到較理想的結(jié)果[14]。

1.2 人臉特征提取

選用積分直方圖來(lái)快速完成人臉樣本Harr特征的計(jì)算任務(wù)。Haar特征根據(jù)自然灰度差異來(lái)進(jìn)行特征選擇，主要應(yīng)用于灰度圖中，其最大優(yōu)勢(shì)是特征計(jì)算簡(jiǎn)單又快速[15]。主要使用的Haar特征模板如圖2所示，其特征值定義為：白色矩形區(qū)域的像素和減去黑色矩形區(qū)域的像素和。

圖2 Haar特征Fig.2 Haar feature

圖2中矩形的4個(gè)頂點(diǎn)決定矩形坐標(biāo)，當(dāng)其中一個(gè)頂點(diǎn)坐標(biāo)以及長(zhǎng)和寬被獲取，就能知道該矩形的坐標(biāo)信息。在程序語(yǔ)言中矩形可以被描述為：Rect（left，top，width，height）。其特征值的計(jì)算可以描述為：

式中：ri權(quán)值為i，ωi為矩陣的內(nèi)像素積分；N為組成特征Feature（k）的矩陣數(shù)量。

在積分圖中每一點(diǎn)的坐標(biāo)計(jì)算的都是其左上角包含的所有像素之和，且計(jì)算該點(diǎn)像素值時(shí)可利用已知像素值，能夠節(jié)省大量的時(shí)間和存儲(chǔ)空間[16]。設(shè)I代表原始圖片，求取某一區(qū)域像素和，如圖3所示。

圖3 求圖中某一小區(qū)域像素值和Fig.3 Calculating the sum of the pixel values in a small region of the graph

點(diǎn)1的積分值I1=sum（A），點(diǎn)2的積分值I2=sum（A）+ sum（B），點(diǎn)3的積分值I3=sum（A）+sum（C），點(diǎn)4的積分值I4=sum（A）+sum（B）+sum（C）+sum（D）。同理，在區(qū)域D內(nèi)包含的所有像素值之和都可以被計(jì)算：即ID=I4-I2-I3+I1，通過(guò)計(jì)算積分圖能夠利用簡(jiǎn)單的4次快速查表得到任意大小區(qū)域內(nèi)像素值之和。

1.3 眼部和嘴部特征提取

對(duì)眼部和嘴部特征的計(jì)算采用LBP特征，LBP指局部二值模式，是一種非常高效的局部二值模型紋理描述算子，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)，其最主要的性質(zhì)是它對(duì)光照的改變不敏感，且計(jì)算比較簡(jiǎn)單[17-18]。LBP算子公式可描述為：

當(dāng)閾值為0時(shí)，每個(gè)像素點(diǎn)的LBP算子生成方式如圖4所示。

圖4 LBP算法原理圖Fig.4 Principle diagram of LBP algorithm

通過(guò)圖（4）來(lái)說(shuō)明LBP值的求取，如對(duì)于3×3區(qū)域的中心像素點(diǎn)（上圖中的54），把該中心像素點(diǎn)的灰度值作為一個(gè)閾值（即閾值為54），然后分別與跟它相鄰的8個(gè)像素點(diǎn)的灰度值做比較，如果相鄰像素點(diǎn)灰度值大于中心像素點(diǎn)灰度值，則在相鄰像素點(diǎn)位置上標(biāo)1，反之標(biāo)0。按照逆時(shí)針?lè)较驅(qū)⒍祷蟮慕Y(jié)果組合為一個(gè)8位的二進(jìn)制數(shù)，再把它轉(zhuǎn)化為十進(jìn)制整數(shù)，該十進(jìn)制數(shù)就代表中心像素點(diǎn)的LBP值。遍歷掃描整個(gè)圖像后會(huì)獲得一個(gè)LBP響應(yīng)圖像，把該響應(yīng)圖像轉(zhuǎn)化為直方圖即為L(zhǎng)BP特征。整個(gè)圖像中包含的點(diǎn)、邊緣、局部特征等信息的分布均被包含在該響應(yīng)圖的LBP特征中。LBP的優(yōu)越性在于紋理特征的提取不會(huì)只局限于某個(gè)點(diǎn)，因?yàn)長(zhǎng)BP算子是從紋理局部近鄰定義中衍生出來(lái)的，圖像中的每個(gè)像素值的LBP值的計(jì)算都需要依附于其周?chē)袼刂礫19]。

2 特征檢測(cè)的實(shí)驗(yàn)仿真

首先準(zhǔn)備正負(fù)樣本，進(jìn)行裁切并規(guī)整尺寸（通常取20×20像素），用CreateSamples程序建立正樣本集，并將最終獲得的分類(lèi)器模型（通常是xml文件）利用HaarTraining和LBPTraining程序訓(xùn)練。

每個(gè)Haar特征和LBP特征可作為一個(gè)弱分類(lèi)器，用hj（x）表示：

式中：fj為矩形特征；θj為分類(lèi)閾值；pj為分類(lèi)符號(hào)，h（x）=1為檢測(cè)為人臉，h（x）=0為檢測(cè)為非人臉。AdaBoost訓(xùn)練強(qiáng)分類(lèi)器的算法流程描述如下。

1）輸入n個(gè)訓(xùn)練樣本：{（x1，y1），（x2，y2），…，（xn，yn）}，xi為輸入的訓(xùn)練樣本，正負(fù)樣本由yi∈{0，1}表示，l為正樣本數(shù)，m為負(fù)樣本數(shù)，n=l+m，并對(duì)樣本權(quán)重初始化。

2）①對(duì)每個(gè)t=1，…，T（T為弱分類(lèi)器的個(gè)數(shù)），產(chǎn)生一個(gè)概率分布，這個(gè)概率分布是通過(guò)把權(quán)重歸一化而得到的：。②對(duì)每個(gè)特征f，訓(xùn)練一個(gè)弱分類(lèi)器h（x），并計(jì)算錯(cuò)誤率εf，該錯(cuò)誤率對(duì)應(yīng)所有特征的弱分類(lèi)器的加權(quán)（q）i值：③選擇擁有最小錯(cuò)誤率εt的弱分類(lèi)器④重整3）獲得的最優(yōu)弱分類(lèi)器的權(quán)重：其中ei=0代表分類(lèi)正確，ei=1代表分類(lèi)錯(cuò)誤，

3）選取一些最優(yōu)弱分類(lèi)器組合成強(qiáng)分類(lèi)器。最后的強(qiáng)分類(lèi)器為：

根據(jù)流程1）～3），分別得到人臉、眼部和嘴部3個(gè)強(qiáng)分類(lèi)器，通過(guò)將待測(cè)圖像中已提取到的疲勞特征輸入對(duì)應(yīng)的分類(lèi)器，進(jìn)行判別是否為人臉、眼部和嘴部。人臉檢測(cè)由OpenCV自帶的源碼performan-ce.exe這個(gè)程序來(lái)完成，該程序主要為performan-ce.exe -data data/cascade-info posdata/test.dat-w 20-h 20 -rs 30。眼部和嘴部分別使用OpenCV提供的函數(shù)createsamples.exe和cascadetraining.exe 2個(gè)執(zhí)行文件進(jìn)行訓(xùn)練，眼部和嘴部的訓(xùn)練結(jié)果存在于“.\scr

\eye_cascade_model.xml”和“.\scr\mouth_cascade_ model.xml”中，再用眼部檢測(cè)函數(shù)DetectSingleEye和嘴部檢測(cè)函數(shù)DetectMouth最終將眼部和嘴部分離出來(lái)。圖5是實(shí)驗(yàn)中疲勞特征檢測(cè)測(cè)試結(jié)果。

圖5 檢測(cè)結(jié)果示例Fig.5 The sample of test results

3 多特征疲勞狀態(tài)檢測(cè)

工作人員進(jìn)入疲勞狀態(tài)時(shí)，眨眼頻率會(huì)隨著疲勞程度加深而增加，眼皮遮蓋眼睛的百分比也隨之增加；同時(shí)打哈欠時(shí)嘴部也會(huì)有一定的張合規(guī)律。根據(jù)眼部高寬比判斷眼睛是睜開(kāi)或閉合，參考PERCLOS原理進(jìn)行眼睛疲勞判斷；根據(jù)嘴部寬高比在一定持續(xù)時(shí)間內(nèi)規(guī)律性變化進(jìn)行嘴部疲勞判斷，由這兩部分特征綜合判斷駕駛員是否疲勞[20]。

3.1 眼部疲勞狀態(tài)判別

在定位出眼部區(qū)域后，將人眼區(qū)域進(jìn)行直方圖均衡化處理，再將之分割得到二值圖像，畫(huà)出眼睛連通區(qū)域的最小外接矩形，確定眼部高度和寬度比例，其中h為上下眼瞼最大距離，w為左右眼角距離，當(dāng)0.12<λ<0.23時(shí)判斷眼部為閉合狀態(tài)，0.23< λ<0.73則判眼部為睜開(kāi)狀態(tài)。主要采用PERCLOS原理來(lái)判斷眼部疲勞狀態(tài)。PERCLOS測(cè)量原理是眼睛閉合時(shí)間占特定時(shí)間的百分比：

在連續(xù)圖像幀序列中，沒(méi)有時(shí)間刻度，但是每秒得到的圖像幀是固定的30幀，因此可以用圖像幀數(shù)來(lái)代替時(shí)間求取PERCLOS值：

設(shè)某段時(shí)間內(nèi)采集到的圖像總幀數(shù)為G，其中閉眼圖像幀數(shù)為F，則可用F和G的比值來(lái)表示PERCLOS值：

在清醒狀態(tài)下，p值一般在0

3.2 嘴部疲勞狀態(tài)判別

在定位出嘴部區(qū)域后，檢測(cè)嘴部張開(kāi)程度來(lái)判斷是否有打哈欠現(xiàn)象產(chǎn)生，根據(jù)定位得到嘴部寬高值，為避免檢測(cè)到的嘴部圖像尺度發(fā)生變化，用嘴部外圈的高寬比表示嘴巴張開(kāi)程度，其中h為嘴部張開(kāi)程度，w為嘴巴寬度。通常打哈欠時(shí)嘴巴寬高比值先逐漸增大，到最大幅度時(shí)會(huì)停留一段時(shí)間后逐漸減小，因此統(tǒng)計(jì)持續(xù)一段時(shí)間內(nèi)嘴部張開(kāi)程度以提高判斷準(zhǔn)確率。當(dāng)R滿足以下條件即判定疲勞：

式中：M為該段時(shí)間內(nèi)R≥0.5的圖像幀數(shù)；N為該段時(shí)間內(nèi)嘴巴圖像總幀數(shù)，在持續(xù)時(shí)間為0.6 s內(nèi)M超過(guò)10幀即可判斷駕駛員進(jìn)入疲勞狀態(tài)。

3.3 疲勞檢測(cè)結(jié)果

在實(shí)驗(yàn)室中模擬駕駛環(huán)境，通過(guò)視頻采集設(shè)備每秒采集30幀圖像，其大小設(shè)置為640×480像素。根據(jù)眼部和嘴部狀態(tài)的連續(xù)時(shí)間數(shù)據(jù)統(tǒng)計(jì)決定疲勞狀態(tài)。在此用“0”表示眼睛閉合狀態(tài)和嘴部張開(kāi)狀態(tài)，用“1”表示眼睛張開(kāi)狀態(tài)和嘴部閉合狀態(tài)，則疲勞狀態(tài)就是由“0”和“l(fā)”組成的一個(gè)時(shí)間狀態(tài)序列，根據(jù)該序列來(lái)判斷駕駛員是否疲勞。通過(guò)此方法，在實(shí)驗(yàn)室進(jìn)行了5組試驗(yàn)，時(shí)間分別為2～6 min，計(jì)算PERCLOS值及嘴部規(guī)律性張開(kāi)次數(shù)百分比。采用OpenCV對(duì)判斷疲勞駕駛所需算法進(jìn)行仿真，用Visual Studio 2012作為系統(tǒng)編譯調(diào)試環(huán)境。實(shí)驗(yàn)結(jié)果如表1所示。

通過(guò)實(shí)驗(yàn)得出，當(dāng)PERCLOS值超過(guò)40%或嘴部規(guī)律性閉合幀數(shù)超過(guò)10幀時(shí)確定進(jìn)入疲勞狀態(tài)。該

方法總體上判別結(jié)果穩(wěn)定，能夠?qū)崿F(xiàn)駕駛員疲勞狀態(tài)的實(shí)時(shí)檢測(cè)，只要駕駛員在正常范圍內(nèi)移動(dòng)，該方法都能夠有效地檢測(cè)出其是否進(jìn)入疲勞狀態(tài)。

表1 疲勞檢測(cè)試驗(yàn)結(jié)果Tab.1 The results of the fatigue test

4 結(jié)語(yǔ)

為了能夠更精準(zhǔn)地判別作業(yè)人員是否疲勞，文章在AdaBoost算法原理的基礎(chǔ)上探究了一種多特征融合的疲勞駕駛檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)大量的樣本訓(xùn)練后提取出人臉中眼部和嘴部疲勞特征，再綜合二者對(duì)疲勞狀態(tài)進(jìn)行判別，可使計(jì)算簡(jiǎn)單且判別速度快，同時(shí)對(duì)于作業(yè)人員在作業(yè)過(guò)程中需要發(fā)生臉部?jī)A斜情況有較好改善，并且具有較好的準(zhǔn)確率和魯棒性。但是未考慮作業(yè)人員存在不良姿態(tài)作業(yè)或臉部旋轉(zhuǎn)角度太大等情況下的識(shí)別率，需要在接下來(lái)的工作里繼續(xù)完善整個(gè)檢測(cè)識(shí)別系統(tǒng)，進(jìn)一步提高系統(tǒng)識(shí)別的準(zhǔn)確率。

[1]張立新，張春翠，何峰，等.體腦疲勞交互影響及神經(jīng)機(jī)制研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2015，32（5）: 1135-1140.ZHANG Lixin，ZHANG Chuncui，HE Feng，et al.Research progress on the interaction effects and its neural mechanisms between physical fatigue and mental fatigue[J].Journal of Biomedical Engineering，2015，32（5）:1135-1140（in Chinese）.

[2]劉剛.基于眼睛狀態(tài)判斷的疲勞檢測(cè)[D].大連:大連理工大學(xué)，2013.

[3]JOHAN VAN DER MEER，ANDRé PAMPEL，EUS VAN SOMEREN，et al.“Eyes open-eyes closed”eeg/fmri data set including dedicated“carbon wire loop”motion detection channels[J].Data in Brief，2016，125（15）:880-894.

[4]ANTOINE PICOT，SYLVIE CHARBONNIER，ALICE CAPLIER.Ngoc-son vu using retina modelling to characterize blinking:comparison between EOG and video analysis[J].Machine Vision and Applications，2012，23（6）: 1195-1208.

[5]BYRON H，GOTTSCHALK，JAVIER GARCIA-NIEBLA，et al.Adrian baranchuk new methodlogies for measuring brugada ECG patterns cannot differentiate the ECG pattern of Brugada syndrome from Brugada phenocopy[J].Journal of Electrocardiology，2016，49（2）:187-191.

[6]REILLY RICHARD B，LEE T CLIVE.II.3.Electrograms（ECG，EEG，EMG，EOG）[J].Studies in Health Technology and Informatics，2010（152）:90-108.

[7]楊海燕，蔣新華，聶作先.駕駛員疲勞檢測(cè)技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2010，27（5）:1621-1624.YANG Haiyan，JIANG Xinhua，NIE Zuoxian.Survey on research of driver fatigue detection technology[J].Application Research of Computers，2010，27（5）:1621-1624（in Chinese）.

[8]薛雷.考慮駕駛員生物電信號(hào)的疲勞駕駛檢測(cè)方法研究[D].長(zhǎng)春:吉林大學(xué)，2015.

[9]WANG Linping，WANG Zufeng.Application of agpsobased adaboost algorithm in human face detection[J].Energy Procedia，2011（13）:1221-1230.

[10]趙曉霞，王茹琳，李雪艷.基于多尺度Retinex的霧天降質(zhì)圖像增強(qiáng)算法[J].工礦自動(dòng)化，2009（10）:62-66.ZHAO Xiaoxia，WANG Rulin，LI Xueyan.Image enhancement algorithm based on multi scale Retinex for fog degraded images[J].Industry and Mine Automation，2009（10）:62-66（in Chinese）.

[11]劉松，孫東，盧一相.基于單尺度Retinex霧天降質(zhì)圖像增強(qiáng)算法[J].微電子學(xué)與計(jì)算機(jī)，2013，30（11）:44-46.LIU Song，SUN Dong，LU Yixiang.Fog-degraded image enhancement based on single-scale retinex[J].Microel Ectronics&Computer，2013，30（11）:44-46（in Chinese）.

[12]沈文文.視頻圖像增強(qiáng)技術(shù)讓視覺(jué)更完美[J].中國(guó)公共安全，2013（18）:162-164.SHENG Wenwen.Video image enhancement technology to make the vision more perfect[J].Chinese Public Safety，2013（18）:162-164（in Chinese）.

[13]許金元.改進(jìn)MSR圖像增強(qiáng)算法的分析與研究[J].科技通報(bào)，2013，29（9）:164.XU Jinyuan.Analysis and research on improved MSR image enhancement algorithm[J].Bulletin of Science Technology，2013，29（9）:164（in Chinese）.

[14]YANG Jie，WANG Li，QU Changqing.Illumination processing recogni-tion of face images based on improved retinex algorithm[J].Journal of Multimedia，2013，8（5）: 541-547.[15]王慶偉.基于Haar-Like特征的人臉檢測(cè)與識(shí)別研究[D].江門(mén):五邑大學(xué)，2014.

[16]候科.基于OpenCV的疲勞駕駛檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢:華中科技大學(xué)，2012.

[17]LUO Yuan，WU Caiming，ZHANG Yi.Facial expression recognition based on fusion feature of PCA and LBP with SVM[J].Optik-International Journal for Light and Electron Optics，2012，124（17）:2767-2770.

[18]YU Wei，GAN Lin，YANG Sha，et al.An improved LBP algo-rithm for texture and face classification[J].Signal，Image and Video Process-ing，2014，8（1）:155-161.

[19]寧星.基于LBP的人臉識(shí)別研究[D].上海：東華理工大學(xué)，2012.

[20]趙雪竹，王秀，朱學(xué)峰.基于Adaboost算法的人眼檢測(cè)中樣本選擇研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（2）: 133.ZHAO Xuezhu，WANG Xiu，ZHU Xuefeng.Research of samples selection in eye detection based on adaboost algorithm[J].ComputerTechnology and Development，2010，20（2）：133（in Chinese）.

（編輯 董小兵）

Research on Fatigue Driving Detection Method of Facial Features Fusion

JIA Xiaoyun1，ZHOU Lingyu1，REN Jiang1，ZHANG Nan2
（1.College of Electrical&Information Engineering，Shaanxi University of Science&Technology，Xi’an 710021，Shaanxi，China；2.Shaanxi Institute of Agricultural Products Processing Technology，Xi’an 710021，Shaanxi，China）

Aiming at the problems of uneven illumination，noise jamming and low accuracy in the process of driver fatigue detection，based on the AdaBoost cascade classifier algorithm，a new method is put forward to detect the fatigue state of the driver in this paper.Firstly，the image is enhanced using Retinex algorithm；secondly，the Haar feature is used to represent facial features，LBP features to represent eyes and mouth features，thus the trained classifier could be employed to implement face detection and extract eye and mouth features；finally，the eyes close or open state and the mouth close or open state are discriminated according to the eyes ratio of height and width and the mouth ratio of height and width respectively.And the statistics of the frequency of the staff’s eyes closed or open is made with principle of PERCLOS and combined with the situation of mouth closed or open when yawning to complete fatigue state detection.The experimental results show that this method can rapidly detect the fatigue state in the complex background，with strong adaptability and robustness.

fatigue state detection；AdaBoost；Retinex algorithm；Haar feature；LBP feature

2016-02-01。

賈小云（1971—），女，碩士，副教授，主要研究方向?yàn)閳D形圖像處理、軟件工程等；

周玲羽（1990—），女，碩士研究生，主要研究方向?yàn)閳D形圖像處理；

任 江（1993—），男，碩士研究生，主要研究方向?yàn)閳D形圖像處理。

西安市科技局農(nóng)業(yè)信息化綜合服務(wù)平臺(tái)的研究與建設(shè)項(xiàng)目（NC1319（2））。

Project Supported by Research and Construction of Agricultural Information Integrated Service Platform of Xi’an Science and Technology Bureau（NC1319（2））.

1674-3814（2016）09-0017-05

TP391；TM08

A