連續(xù)駕駛條件下司機(jī)疲勞駕駛圖像預(yù)警仿真

李巧茹，石 宇

(河北工業(yè)大學(xué)土木與交通學(xué)院，天津 300400)

1 引言

疲勞駕駛指睡眠不足或連續(xù)駕駛時(shí)間較長(zhǎng)導(dǎo)致的反應(yīng)力下降的情況，通常體現(xiàn)在打瞌睡、操作失誤等方面，對(duì)司機(jī)的警覺(jué)性與反應(yīng)能力均有嚴(yán)重影響。為最大程度避免此類(lèi)交通事故，研究一種可靠的疲勞駕駛預(yù)警方法具有重要意義。

閔建亮等人提出基于前額腦電多尺度小波對(duì)數(shù)能量熵的疲勞駕駛預(yù)警方法。對(duì)駕駛室進(jìn)行模擬，利用腦電帽獲取清醒駕駛與疲勞駕駛的前額腦電信號(hào)；并使用MATLAB對(duì)獲取的信號(hào)進(jìn)行預(yù)處理，分別構(gòu)建兩種不同狀態(tài)的數(shù)據(jù)集合；通過(guò)多尺度熵提取腦電信號(hào)小波對(duì)數(shù)能量熵，完成疲勞駕駛?cè)藛T的腦電信號(hào)特征，根據(jù)該特征實(shí)現(xiàn)預(yù)警。鄭偉成等人將深度學(xué)習(xí)算法應(yīng)用在疲勞駕駛預(yù)警中，使用攝像頭實(shí)時(shí)采集駕駛員人臉圖像，通過(guò)深度學(xué)習(xí)模型檢測(cè)人臉關(guān)鍵區(qū)域，從中獲取特征參數(shù)；通過(guò)特征融合獲取駕駛員疲勞狀態(tài)，進(jìn)而實(shí)現(xiàn)有效預(yù)警。

上述兩種方法雖然取得了一定的成果，但同時(shí)也存在不足。其中文獻(xiàn)[1]方法是通過(guò)采集駕駛?cè)藛T生理信號(hào)來(lái)獲取信息，在此過(guò)程中司機(jī)需佩戴信號(hào)感應(yīng)器，屬于接觸式測(cè)量，方法自身會(huì)對(duì)安全行駛帶來(lái)一定隱患；而文獻(xiàn)[2]方法雖然避免了接觸測(cè)量，但圖像預(yù)處理效果不佳，影響特征提取效果。為此，本文在連續(xù)駕駛條件下，提出一種基于保局投影的疲勞駕駛預(yù)警方法。保局投影可以生成顯式投影矩陣，便于疲勞特征提取，降低特征維數(shù)。通過(guò)提高特征提取效果，進(jìn)一步改善疲勞狀態(tài)識(shí)別的精度，提高預(yù)警性能。

2 圖像采集與預(yù)處理

2.1 采集流程分析

本文使用的圖像采集方法是通過(guò)CAM8100-U型號(hào)的攝像頭對(duì)駕駛?cè)藛T進(jìn)行實(shí)時(shí)采集。在采集過(guò)程中，設(shè)置攝像頭和駕駛員的距離為0.5米，該距離符合實(shí)際駕駛要求。

圖像采集的主要流程如圖1所示。當(dāng)攝像頭開(kāi)啟后，若檢測(cè)到人臉，則對(duì)圖像進(jìn)行預(yù)處理；反之給出錯(cuò)誤信息。

圖1 圖像采集流程圖

2.2 圖像預(yù)處理

2.2.1 自適應(yīng)中值濾波去噪

受到噪聲影響的圖像會(huì)降低清晰度，甚至破壞重要信息，影響疲勞狀態(tài)的識(shí)別。所以首先需通過(guò)濾波算法去除圖像噪聲，改善圖像質(zhì)量。本文采用中值濾波算法實(shí)現(xiàn)圖像自適應(yīng)去噪，對(duì)于噪聲部分做平滑處理，而沒(méi)有噪聲的部分則不對(duì)其濾波，此種方法可將噪聲影響降低到最小。

根據(jù)上述規(guī)則，將濾波過(guò)程分為如下兩步：

2

.

2

.

2 圖像光照均衡

去噪處理并不會(huì)改善圖像光照強(qiáng)度，由于駕駛環(huán)境的不同，采集到的圖像亮度也不同，圖像過(guò)亮或過(guò)暗均會(huì)影響預(yù)警效果，不利于對(duì)人臉重要部位的識(shí)別。基于此，本文使用自適應(yīng)閾值光照均衡方法將圖像引入到Y(jié)CbCr空間中，并探究圖像在子空間內(nèi)表現(xiàn)出的特征，確定參考白點(diǎn)，實(shí)現(xiàn)光照調(diào)整。

步驟一：將采集到的圖像通過(guò)下述公式從RGB(紅、綠、藍(lán))空間引入到Y(jié)CbCr空間中

(1)

YCbCr與RGB均是人為規(guī)定的彩色模型。

步驟二：若

Mb

與

Mr

分別表示藍(lán)色和紅色色度分量，

Cb

、

Cr

為它們的平均值，則利用下述公式獲取其均方差

Db

、

Dr

(2)

(3)

式中，

N

表示圖像被劃分的子區(qū)域數(shù)量，(

i

，

j

)為像素點(diǎn)，若某區(qū)域的均方差太小，表明該區(qū)域不存在較為顯著的顏色變化，需放棄此區(qū)域。使用式(4)和(5)獲得與白色區(qū)域相近的全部像素點(diǎn)。|

Cb

(

i

，

j

)-(

Mb

+

Db

×

sign

(

Mb

))|<1

.

5

Db

(4)

|

Cr

(

i

，

j

)-(1

.

5

Mr

+

Dr

×

sign

(

Mr

))|<1

.

5

Dr

(5)

結(jié)合亮度值特性，將和白色區(qū)域像素值相同的像素點(diǎn)當(dāng)作參考白點(diǎn)。為了確保圖像整體亮度不變，通過(guò)亮度最高值獲取信道增益，公式如下

(6)

式中，

Y

表示圖像全部像素中最高亮度值，

R

、

G

與

B

分別表示參考白點(diǎn)在

R

、

G

、

B

不同信道中的平均值。

步驟三：利用式(7)同時(shí)完成圖像調(diào)整，確保圖像實(shí)現(xiàn)白平衡。

(7)

通過(guò)以上處理后，獲得質(zhì)量較高的駕駛員信息圖像，通過(guò)該圖像進(jìn)行特征提取與狀態(tài)識(shí)別，并對(duì)顯示出的疲勞狀態(tài)實(shí)現(xiàn)預(yù)警。

3 連續(xù)駕駛條件下疲勞駕駛預(yù)警

3.1 基于保局投影的疲勞特征提取

因此，保局投影準(zhǔn)則函數(shù)

f

的計(jì)算公式如下

(8)

(9)

式中，

D

屬于對(duì)角矩陣，

L

=

D

-

S

為拉普拉斯矩陣，獲得最小化的保局投影矢量

w

(10)

(11)

3.2 疲勞狀態(tài)預(yù)警

在連續(xù)駕駛的情況下，駕駛員的疲勞狀態(tài)主要體現(xiàn)在閉眼、打哈欠、點(diǎn)頭等動(dòng)作上。本文對(duì)上述提取到的駕駛員關(guān)鍵特征進(jìn)行識(shí)別，通過(guò)多個(gè)指標(biāo)對(duì)疲勞狀態(tài)進(jìn)行判斷，以此實(shí)現(xiàn)疲勞預(yù)警。

3

.

2

.

1 眼部疲勞

眨眼又被叫做瞬目反射，本文通過(guò)下述三個(gè)指標(biāo)來(lái)判斷眼部疲勞狀態(tài)。

1)連續(xù)閉眼時(shí)長(zhǎng)

(12)

2)眨眼頻率

(13)

如果

F

<

F

，表明眨眼頻率較低，需對(duì)駕駛員進(jìn)行疲勞預(yù)警。

3)PERLCOS準(zhǔn)則

此準(zhǔn)則是判斷駕駛員警覺(jué)性的方法，代表累計(jì)閉眼時(shí)間占某一指定時(shí)間的百分比。本文通過(guò)常用的

P

80標(biāo)準(zhǔn)進(jìn)行判斷，此標(biāo)準(zhǔn)指閉眼程度高于80

%

的累計(jì)時(shí)間和單位時(shí)間之間的比值。當(dāng)駕駛員出現(xiàn)疲勞狀態(tài)時(shí)，眼瞼下垂，累計(jì)閉眼時(shí)長(zhǎng)會(huì)增加，因此，評(píng)價(jià)指標(biāo)

F

會(huì)出現(xiàn)顯著變化，

F

的表達(dá)式如下

(14)

根據(jù)眼睛近似張角算法，對(duì)采集到的圖像中眼睛張角的極大值與極小值

α

、

α

進(jìn)行計(jì)算，并與眼睛完全睜開(kāi)、閉合的張角相互對(duì)應(yīng)。假設(shè)

α

′代表第

m

′幅圖像內(nèi)駕駛員眼睛的近似張角，此時(shí)若

α

′符合式(15)，則斷定閉眼程度符合

P

80相關(guān)規(guī)定。

α

′≤0

.

2(

α

-

α

)

(15)

綜合連續(xù)閉眼時(shí)長(zhǎng)、眨眼頻率以及PERLCOS準(zhǔn)則三種預(yù)警標(biāo)準(zhǔn)，確定眼部疲勞的綜合判斷條件如下：

(16)

3

.

2

.

2 嘴部疲勞

人在疲勞時(shí)除了有較為明顯的眼部特征外，也會(huì)不斷地打哈欠，以此提醒大腦已經(jīng)出現(xiàn)疲勞感，需要進(jìn)行休息。相關(guān)研究表明，人打哈欠的持續(xù)時(shí)間通常在6秒上下，體現(xiàn)出的具體特征是：嘴巴張開(kāi)較大、張嘴時(shí)間長(zhǎng)、打哈欠頻率較快。根據(jù)以上特征，嘴部疲勞的判斷公式為

(17)

3

.

2

.

3 點(diǎn)頭瞌睡

當(dāng)人出現(xiàn)打瞌睡狀態(tài)時(shí)，大腦反應(yīng)靈敏度下降，對(duì)頭部的控制能力有所減弱，主要表現(xiàn)在頭部低垂、頻繁點(diǎn)頭或仰頭。

結(jié)合眼睛和嘴巴的識(shí)別方式，分別設(shè)定雙眼部位的中心點(diǎn)

E

與嘴巴部位的中心點(diǎn)

M

，確定這兩點(diǎn)之間的中點(diǎn)，并將其當(dāng)作頭部檢測(cè)的標(biāo)準(zhǔn)點(diǎn)，再對(duì)頭部運(yùn)行軌跡進(jìn)行跟蹤。如果標(biāo)準(zhǔn)點(diǎn)發(fā)生突然的位移運(yùn)動(dòng)，表明司機(jī)出現(xiàn)點(diǎn)頭瞌睡現(xiàn)象。利用下述公式獲取標(biāo)準(zhǔn)點(diǎn)位移在一段時(shí)間內(nèi)的變化頻率，以此識(shí)別出司機(jī)是否疲勞駕駛。

(18)

如果

k

大于設(shè)定的閾值

K

，則發(fā)生瞌睡點(diǎn)頭現(xiàn)象。對(duì)點(diǎn)頭次數(shù)進(jìn)行統(tǒng)計(jì)，并利用下述公式計(jì)算一段時(shí)間內(nèi)點(diǎn)頭頻率

F

。

(19)

如果

F

值高于設(shè)定閾值

F

，則識(shí)別出頭部疲勞。對(duì)于眼部、嘴部與頭部的疲勞判斷，無(wú)論哪一項(xiàng)的判斷值高于設(shè)定閾值，均會(huì)給出疲勞駕駛預(yù)警信息。

4 仿真數(shù)據(jù)分析與研究

本次仿真選取一個(gè)小型實(shí)驗(yàn)系統(tǒng)，使用的主要硬件設(shè)備如下：

1)計(jì)算機(jī)：為實(shí)驗(yàn)方便，選用PC機(jī)，其主頻為2.6GHz，內(nèi)存為4G，操作系統(tǒng)為Window7。

2)攝像機(jī)：雅虎攝像頭，500萬(wàn)像素，RGB241420輸出格式，具備USB輸出接口，儲(chǔ)存方式為單幀捕獲。實(shí)驗(yàn)軟件參數(shù)如表1所示。

表1 軟件技術(shù)參數(shù)表

在上述實(shí)驗(yàn)環(huán)境下，對(duì)比不同方法的圖像預(yù)處理效果。將攝像頭設(shè)置于駕駛?cè)藛T正前方，模擬駕駛情況進(jìn)行拍攝，采集圖像信息。由于文獻(xiàn)[1]是采集駕駛?cè)藛T生理信號(hào)，只有文獻(xiàn)[2]方法涉及圖像處理內(nèi)容，因此使用文獻(xiàn)[2]與本文方法對(duì)采集到的任意一幅圖像進(jìn)行預(yù)處理，處理效果如圖2所示。

圖2 不同方法圖像預(yù)處理結(jié)果對(duì)比圖

由圖2能夠看出，本文圖像預(yù)處理效果最佳，處理后的圖像非常清晰，能夠清晰地看出駕駛員的面部特征。這是因?yàn)橹兄禐V波與光照均衡相結(jié)合的圖像處理方法不僅可以平滑噪聲，還能通過(guò)最佳光照強(qiáng)度使圖像更加清晰。下面是利用三種不同方法在連續(xù)駕駛條件下對(duì)5名駕駛員的疲勞駕駛預(yù)警的測(cè)試結(jié)果。

表2 駕駛員實(shí)際狀態(tài)

表3 本文方法疲勞預(yù)警測(cè)試結(jié)果表

表4 文獻(xiàn)[1]方法疲勞預(yù)警測(cè)試結(jié)果表

表5 文獻(xiàn)[2]方法疲勞預(yù)警測(cè)試結(jié)果表

由表2-5可知，本文方法預(yù)警出的狀態(tài)與駕駛員的實(shí)際狀態(tài)相符。這是因?yàn)樗岱椒ㄍㄟ^(guò)保局投影方式準(zhǔn)確提取出駕駛員的信息特征，并去除干擾信息，降低特征維數(shù)，使疲勞識(shí)別更加準(zhǔn)確，進(jìn)而得出精準(zhǔn)的預(yù)警結(jié)果。

5 結(jié)論

近年來(lái)，因疲勞駕駛引發(fā)的交通事故不斷出現(xiàn)，對(duì)人們生命安全造成嚴(yán)重威脅。為有效避免此種事故，本文在連續(xù)駕駛條件下，提出一種基于保局投影的疲勞駕駛預(yù)警算法。通過(guò)對(duì)采集到的圖像信息做預(yù)處理，提高圖像質(zhì)量，再對(duì)駕駛員眼部、嘴部與頭部進(jìn)行疲勞識(shí)別，給出最終預(yù)警結(jié)果。仿真結(jié)果表明，該方法可以準(zhǔn)確預(yù)警出駕駛員的真實(shí)狀態(tài)，能夠及時(shí)提醒司機(jī)進(jìn)行適當(dāng)休息。在今后研究中應(yīng)考慮在遮擋狀態(tài)下如何保證預(yù)警效果，例如駕駛員佩戴墨鏡時(shí)對(duì)眼部狀態(tài)的識(shí)別。