融合臉部紅外信息與深度信息的駕駛員路怒表情識別方法

劉鵬++劉峰

摘要：駕駛員“路怒癥”是影響安全駕駛的一個重要因素，近年來得到了廣泛關(guān)注。在情感識別領(lǐng)域，可通過駕駛員表情識別其情感。融合臉部紅外信息和深度信息（InfraredD），提出一種駕駛員路怒表情識別方法，對駕駛員“路怒癥”進行識別。實驗結(jié)果表明，基于PCANet的方法可以提高駕駛員路怒表情識別的準確率，從而更有效地預(yù)防交通事故發(fā)生。

關(guān)鍵詞：路怒癥；表情識別；PCANet；InfraredD

DOIDOI：10.11907/rjdk.171634

中圖分類號：TP317.4

文獻標識碼：A文章編號：16727800（2017）010019804

0引言

“路怒癥”的定義為：“路怒”是形容在交通阻塞情況下開車壓力與挫折所導(dǎo)致的憤怒情緒，“路怒癥”發(fā)作者會襲擊他人汽車，有時無辜的同車乘客也會遭殃。近年來，由“路怒癥”引起的交通事故呈顯著上升趨勢。交通管理局數(shù)據(jù)顯示，2015年以來全國查處的由“路怒癥”引起的違法行為達1 733萬起，同比上升了2.8%，可見“路怒癥”已經(jīng)成為影響安全駕駛的一個重要因素。因此，研究“路怒癥”并提出有效應(yīng)對措施，對于預(yù)防交通事故發(fā)生具有重要意義。

1駕駛員路怒癥研究現(xiàn)狀

目前，針對“路怒癥”的文獻研究有：韓振[1]指出只有養(yǎng)成良好的出行習慣才能從根本上消除“路怒癥”，駕車時需要注意“不要將不良情緒帶上車，開車前調(diào)節(jié)好情緒，營造舒適的車內(nèi)環(huán)境”；王浩穎[2]提出“首先要有包容心，允許別人犯錯，然后要學(xué)會調(diào)節(jié)不良情緒，可以采用一些解壓的小方法，如聽一首放松的音樂、做一下深呼吸等。其次，養(yǎng)成良好的開車習慣，如在駕駛過程中時常打開窗戶透透氣，在情緒不好的情況下不要駕駛車輛等”；騫憲忠、鄭建中[3]認為可以根據(jù)“路怒癥”的癥狀輕重情況，通過心理調(diào)節(jié)和藥物治療控制駕駛員路怒癥，對于患有重度“路怒癥”的駕駛員發(fā)作時需要及時就醫(yī)用藥；金金[4]把“路怒”行為看作是一種對社會公共秩序的挑釁，主張通過自我約束和社會約束兩種手段解決駕駛員“路怒”行為?？梢娔壳暗倪@些措施主要集中在個人和社會層面，而要提高個人素質(zhì)和整個社會氛圍也將是一個漫長過程。

由以上分析可知，針對路怒癥的研究主要集中在兩個方面：①研究駕駛員路怒癥與安全駕駛之間的關(guān)系；②研究如何從政策、法規(guī)等規(guī)章制度上預(yù)防和消除駕駛員路怒癥。而針對駕駛員路怒癥的自動識別研究還未見報道。但是在情感計算領(lǐng)域，表情識別是一個非常熱門的話題，本文考慮到駕駛員的特殊環(huán)境，提出一種基于PCANet融合臉部InfraredD圖像的駕駛員路怒表情識別方法。首先，使用駕駛員臉部的紅外圖像和深度圖像對應(yīng)的表情（非路怒表情和路怒表情）訓(xùn)練PCANet過濾器；之后，通過訓(xùn)練得到的過濾器提取臉部紅外圖像和深度圖像的表情特征，再進行哈希編碼并提取直方圖特征；最后，通過提取的特征訓(xùn)練得到SVM，進行駕駛員路怒表情和非路怒表情識別。該方法可以識別駕駛員路怒癥，從而可以在駕駛員出現(xiàn)路怒現(xiàn)象時，及時進行提醒（可以是一句安慰的話或者播放一段愉快的音樂），防止因駕駛員的過激行為造成交通事故。

2駕駛員路怒表情識別方法

本文的駕駛員路怒表情識別是通過將臉部的紅外圖像和深度圖像進行融合。如圖1所示，具體步驟為：①同時把臉部紅外圖像和臉部深度圖像作為PCANet第一層濾波器（特征向量矩陣w1＼-l）的訓(xùn)練樣本，訓(xùn)練得到w＼+1＼-l，將訓(xùn)練樣本去除均值后乘以w＼+1＼-l得到PCANet第一層的輸出；②將輸出的特征矩陣作為PCANet第二層濾波器的訓(xùn)練樣本，訓(xùn)練得到w＼+2＼-l，將第一層的輸出乘以w＼+2＼-l得到PCANet第二層的輸出；③將第二層的特征矩陣進行哈希編碼；④將臉部紅外圖像和深度圖像編碼后的矩陣對應(yīng)加和；⑤將加和后的每個編碼矩陣通過滑動口提取直方圖特征，并且將其串接在一起組成表情識別特征；⑥通過支持向量機（SVM）進行分類。

圖1駕駛員路怒表情特征提取模型

其中，N個訓(xùn)練樣本表示為{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}，每個樣本的patch數(shù)目為2m×n，每個patch的大小為k1×k2。

基于PCANet的臉部InfraredD圖像特征提取具體如下：

（1）融合InfraredD圖像的PCANet第一層。對于輸入圖片{IR＼-i，Depth＼-i}＼+N＼-＼{i=1＼}（臉部紅外圖像和深度圖像作為一個樣本），滑動窗采用k1×k2大小的patch，patch之間的交集設(shè)為overlap（相當于步長，該階段步長一般選1），如圖2所示。輸入圖片{IR＼-i，Depth＼-i}的patch向量為：xIi，1，xIi，2，xIi，3，…，xIi，mn∈Rk1k2和xDi，1，xDi，2，xDi，3，…，xDi，mn∈Rk1k2，為了方便計算，用矩陣Xi表示：Xi=＼[xIi，1，xIi，2，xIi，3，…，xIi，mn，xDi，1，xDi，2，xDi，3，…，xDi，mn＼]，然后由式（1）（以一張圖片的所有patch為例，而紅外和深度兩張圖片要除以2mn）求協(xié)方差矩陣Convi。

Convi=（X＼+Ti-avg＼+T）（Xi-avg）/2mni=1，2，3，…，N（1）

其中，avg為所有patch向量的每一維均值。

然后由式（2）對協(xié)方差矩陣加和（ConvSum）：

ConSum=∑Ni=1ConvI（2）

并除以N，得到所有樣本協(xié)方差的均值（Conv）：

Conv=ConvSumN（3）

對其求特征值和特征向量（eigvals，sigVects）：

eigvals，eigVects=eig（Conv）（4）endprint

然后取特征值大的前L＼-1個特征向量組成w＼+1＼-l（根據(jù)實驗結(jié)果選取適當?shù)奶卣飨蛄繑?shù)量）：

w1l=eigVects＼[0：L1＼]（5）

最后由式（6）得到PCANet第一層的輸出：

{IRLi，Depthli}={{Ii，1，Ii，2，Ii，3，…，Ii，mn}×w1l，

{Di，1，Di，2，Di，3，…，Di，mn，}×w1l}

i=1，2，3…，Nl=1，2，3，…，L1（6）

其中Ii，j和Di，j是去除均值的patch向量，L1為特征向量的數(shù)量（決定PCANet第一層的輸出）。

（2）融合InfraredD圖像的PCANet第二層。將PCANet第一層的輸出作為第二層的輸入，按照式（1）中的方法得到w2l，最后求得第二層的輸出為：{OIRlki，ODepthlki}（i=1，2，3，…，N；l=1，2，3，…，L1；k=1，2，3，…，L2）。

（3）融合InfraredD圖像的PCANet輸出層：哈希編碼和直方圖處理。哈希編碼過程，按照式（7），將紅外圖像和深度圖像PCANet第二層的輸出圖像對應(yīng)相加，然后經(jīng)過哈希編碼生成哈希矩陣，并將其相加，產(chǎn)生L1個哈希矩陣：

Tli=∑L2k=12k-1（H（OIRlki）+H（ODepthlk＼-i））

i=1，2，3，…，N；l=1，2，3，…，L1（7）

其中H（·）是哈希函數(shù)，而輸出的每個像素是在范圍[0，2L2-1]中的整數(shù)。

對哈希矩陣提取直方圖特征：將每一個哈希圖像通過滑動窗口，對產(chǎn)生的每個patch統(tǒng)計直方圖然后拼接在一起，之后將所有哈希圖像的直方圖特征拼接在一起組成最終的特征向量，如式（8）所示：

f＼-i=＼[Bhist（Tli），…，Bhist（TL1i）＼]Ti=1，2，3，…，N（8）

3實驗結(jié)果與分析

3.1數(shù)據(jù)庫及實驗設(shè)置

受駕駛員駕駛條件的限制，一般選用紅外圖像作為信息的輸入，考慮到深度圖像對光照變化不敏感，能反映出臉部深度信息，故本文駕駛員表情數(shù)據(jù)庫采集的是臉部紅外圖像和臉部深度圖像。設(shè)備依靠kinect選取駕駛員，跟蹤其臉部并提取紅外圖像和深度圖像信息，并建立對應(yīng)的數(shù)據(jù)庫（紅外圖像和深度圖像分別為1 200張）。之后將駕駛員表情分為兩組：一組為路怒表情，一組為非路怒表情。實驗在Intercore，3.4GHz CPU和4G RAM的計算機上進行。

將本文方法（I+DPCANet）與3種方法進行了比較：基于PCANet臉部紅外圖像的駕駛員路怒表情識別方法（IPCANet）、基于PCANet臉部深度圖像的駕駛員路怒表情識別方法（DPCANet）、基于PCANet臉部紅外圖像和臉部深度圖像單獨訓(xùn)練PCANet濾波器的駕駛員路怒表情識別方法（IDPCANet）。其中，基于PCANet臉部紅外圖像的駕駛員路怒表情識別方法僅使用紅外圖像訓(xùn)練PCANet濾波器；基于PCANet的臉部深度圖像的駕駛員路怒表情識別方法僅使用深度圖像訓(xùn)練PCANet濾波器；基于PCANet的臉部紅外圖像和臉部深度圖像單獨訓(xùn)練PCANet濾波器的駕駛員路怒表情識別方法采用臉部紅外和臉部深度圖像單獨訓(xùn)練PCANet濾波器，之后用于各自圖像的卷積。

3.2參數(shù)設(shè)置

patch大小選擇：通過固定其它參數(shù)，選擇不同大小的patch進行實驗，圖3顯示不同patch對于分類結(jié)果的影響，而且7×7大小的patch能提供更好的性能。因此，選擇7×7作為訓(xùn)練PCANet濾波器的大小。

L1和L2選擇：由圖4可知選擇不同輸出個數(shù)對于分類結(jié)果的影響。第一層和第二層的輸出個數(shù)選為8，8具有更好的性能。因此，第一層的輸出數(shù)量和第二層的輸出數(shù)量都為8。

圖3patch大小對分類準確率的影響

圖4L1和L2對分類準確率的影響

求直方圖時滑動窗大小和重疊率的選擇：由圖5、圖6可知，這兩個參數(shù)對實驗結(jié)果的影響不是很大，分別選擇：10×10和0。

圖5求直方圖時滑動窗大小對分類準確率的影響

圖6求直方圖時滑動窗重疊率對分類準確率的影響

3.3SVM分類器參數(shù)選擇

對臉部紅外圖像和臉部深度圖像提取完特征后，進行臉部表情的識別，本文選用的分類器是libSVM，其中采用了兩種人臉表情：駕駛員非路怒表情和駕駛員路怒表情。

LIBSVM使用的一般步驟為：①按照LIBSVM軟件包要求的格式準備數(shù)據(jù)集； ②對數(shù)據(jù)進行簡單的縮放操作；③首先考慮選用RBF 核函數(shù)；④采用交叉驗證選擇最佳參數(shù)C與g （懲罰系數(shù)和核函數(shù)中的gamma函數(shù)設(shè)置）；⑤采用最佳參數(shù)C與g 對整個訓(xùn)練集進行訓(xùn)練，獲取支持向量機模型；⑥利用獲取的模型進行測試與預(yù)測。

在實驗中，選擇的SVM設(shè)置類型為CSVC，使用交叉驗證計算各種參數(shù)搭配的分類精度，以便得到解決問題的最佳參數(shù)搭配。C和g是 SVM 中的重要參數(shù)，針對選定的訓(xùn)練集，選用7折交叉驗證選取最佳的C和g參數(shù)搭配，以訓(xùn)練分類模型。

3.4性能比較

白天和夜間紅外圖像和深度圖像變化不大，可以一同進行性能比較。表1顯示了對測試集中路怒表情（road rage）和非路怒表情（else）進行識別的比較結(jié)果。顯然，I+DPCANet方法準確率最高，其次是IDPCANet 方法。圖7顯示對路怒表情（road rage）和非路怒表情（else）識別的詳細比較結(jié)果，可見4種方法普遍對路怒表情的識別準確率會低一些。

4結(jié)語

本文基于PCANet提出了一種融合臉部紅外和深度圖像的駕駛員路怒表情識別方法。首先使用駕駛員

臉部的紅外圖像和深度圖像對應(yīng)的表情（非路怒表情和路怒表情）訓(xùn)練PCANet過濾器；之后，通過訓(xùn)練得到的過濾器提取臉部紅外圖像和深度圖像的表情特征，再進行哈希編碼并提取直方圖特征；最后，通過提取的特征訓(xùn)練得到SVM，進行駕駛員非路怒表情和路怒表情的識別。實驗結(jié)果表明，本文提出的方法能夠更有效地識別駕駛員路怒表情，從而判斷路怒癥，以防止因駕駛員的過激行為造成交通事故。

參考文獻參考文獻：

[1]韓振.遠離“路怒癥”[J].家庭科技，2015（6）：3839.

[2]王浩穎.路怒癥：怒從何來[J].婚姻與家庭：社會紀實，2015（7）：2426.

[3]騫憲忠，鄭建中.生理心理社會醫(yī)學(xué)模式視角下的路怒癥剖析[J].中國社會醫(yī)學(xué)雜志，2011（4）：269271.

[4]金金.交通文明行“路怒”需約束[J].青春期健康，2015（12）：2426.

責任編輯（責任編輯：黃健）endprint