基于視覺(jué)的目標(biāo)姿態(tài)估計(jì)算法

李 榮，劉 坤，高文鵬

( 1．黑龍江工程學(xué)院汽車與交通工程學(xué)院，哈爾濱150020; 2．河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津300019; 3．哈爾濱工業(yè)大學(xué)生命科學(xué)與技術(shù)學(xué)院，哈爾濱150001)

基于視覺(jué)的目標(biāo)姿態(tài)估計(jì)算法

李 榮1，劉 坤2，高文鵬3

( 1．黑龍江工程學(xué)院汽車與交通工程學(xué)院，哈爾濱150020; 2．河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津300019; 3．哈爾濱工業(yè)大學(xué)生命科學(xué)與技術(shù)學(xué)院，哈爾濱150001)

駕駛員頭部姿態(tài)在一定程度上反映駕駛員的意圖。為了避免由駕駛員主觀因素造成交通事故，基于計(jì)算機(jī)視覺(jué)的動(dòng)態(tài)頭部姿態(tài)估計(jì)算法，首先檢測(cè)視頻中的正面人臉，以此為基準(zhǔn)，利用SIFT算法對(duì)視頻序列中人臉特征進(jìn)行匹配與跟蹤，計(jì)算不同視角下的頭部姿態(tài)角度，再通過(guò)記錄不同姿態(tài)角度保持的時(shí)間來(lái)判別駕駛員的行為意識(shí)，從而給駕駛員警示，進(jìn)而避免交通事故。實(shí)驗(yàn)表明，該系統(tǒng)可以精確估算駕駛員頭部姿態(tài)，提高駕駛安全性。

駕駛員;疲勞檢測(cè);頭部姿態(tài)評(píng)估

收稿日期: 2013-01-10
基金項(xiàng)目:黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目( 12511454)
第一作者簡(jiǎn)介:李 榮( 1977-)，女，內(nèi)蒙古自治區(qū)呼和浩特人，講師，博士，研究方向:機(jī)器人、智能駕駛等，E-mail: mizzle0929@126．com。

0引言

隨著汽車制造業(yè)的飛速發(fā)展，汽車已經(jīng)成為人類最主要的交通工具。汽車在帶給人類舒適和便捷的同時(shí)也帶來(lái)一些負(fù)面效應(yīng)，其中最嚴(yán)重、危害最大的就是交通事故。據(jù)統(tǒng)計(jì)，2012年我國(guó)發(fā)生涉及人員傷亡的路口交通事故4. 6萬(wàn)起，造成1. 1萬(wàn)人死亡、5萬(wàn)人受傷。根據(jù)歐洲的一項(xiàng)研究表明，駕駛員只要在有碰撞危險(xiǎn)0. 5 s前得到“預(yù)警”，就能避免50%的碰撞事故。若在1 s前得到“預(yù)警”，則可避免90%的事故發(fā)生。因此，開發(fā)研究能實(shí)時(shí)獲取道路和車輛信息，及時(shí)提醒駕駛員，或自動(dòng)采取措施以避免出現(xiàn)危險(xiǎn)的汽車碰撞預(yù)警系統(tǒng)，成為一項(xiàng)極有研究?jī)r(jià)值的課題。

目前，常用的評(píng)價(jià)疲勞駕駛有兩種方法。第一種方法，利用檢測(cè)駕駛員的生理信號(hào)的方式，例如腦電圖、心電圖、呼吸氣流等手段。駕駛員產(chǎn)生疲勞時(shí)，生理機(jī)能下降，會(huì)出現(xiàn)如頭重、心跳加快、脈搏加速、氣喘等。有些學(xué)者利用檢測(cè)駕駛員的生理信號(hào)的方式來(lái)研究駕駛員的疲勞程度[1-3]，這種方案的優(yōu)點(diǎn)是在疲勞初期檢測(cè)，具有一定的可靠性，缺點(diǎn)是使用不方便，且成本很高。另一種評(píng)價(jià)方法是通過(guò)檢測(cè)駕駛員的駕駛行為，通過(guò)同正常駕駛狀態(tài)比較，查找出差異如打哈欠、頻繁點(diǎn)頭、大角度偏離正常駕駛方向、表情變化少、眼睛呆滯等現(xiàn)象[4-6]。這類方法的優(yōu)點(diǎn)是通過(guò)視覺(jué)和圖像識(shí)別方法進(jìn)行監(jiān)控，不需要接觸式傳感檢測(cè)，不干擾駕駛員正常操作，缺點(diǎn)是受天氣、路況、光照、車型等因素影響。這樣的檢測(cè)系統(tǒng)需要有計(jì)算機(jī)進(jìn)行數(shù)據(jù)的實(shí)時(shí)處理，因此成本也較高，且判別結(jié)果存在誤差。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，針對(duì)上述問(wèn)題，筆者研究利用廉價(jià)的網(wǎng)絡(luò)攝像頭對(duì)駕駛員的頭部姿態(tài)進(jìn)行不斷獲取且傳給后臺(tái)處理器，通過(guò)適當(dāng)?shù)乃惴▽?duì)頭部姿態(tài)進(jìn)行估計(jì)，將結(jié)果反饋給報(bào)警裝置，當(dāng)駕駛員處于危險(xiǎn)駕駛姿態(tài)時(shí)提供警報(bào)，會(huì)大幅度減少交通事故的發(fā)生。

1疲勞識(shí)別系統(tǒng)框架的建立

研究主要是針對(duì)中低檔價(jià)位的乘用車，通過(guò)利用價(jià)格低廉的網(wǎng)絡(luò)攝像頭和自身研發(fā)的智能圖像識(shí)別軟件，來(lái)代替智能駕駛系統(tǒng)等裝置，在駕駛員行駛過(guò)程中輔助駕駛員進(jìn)行危險(xiǎn)情況的識(shí)別。該系統(tǒng)的硬件結(jié)構(gòu)主要由網(wǎng)絡(luò)攝像頭、圖像采集卡、計(jì)算機(jī)、定時(shí)電路等設(shè)備組成，對(duì)獲取的圖像信息，利用基于視頻和靜態(tài)圖像的頭部姿態(tài)估計(jì)，將處理完的信息即駕駛員頭部角度的變化傳給預(yù)警系統(tǒng)，系統(tǒng)根據(jù)結(jié)果發(fā)出相應(yīng)的警告，為駕駛員進(jìn)行道路交通安全提供保障。整體流程如圖1所示。

圖1 駕駛員疲勞識(shí)別系統(tǒng)流程Fig．1 Flow of detection system for fatigue driving

2駕駛員頭部姿態(tài)估計(jì)

駕駛員在駕駛過(guò)程中，其頭部姿態(tài)很大程度上暗示其注意力，因此可以通過(guò)捕捉駕駛員長(zhǎng)時(shí)間低頭、抬頭、歪頭以及頻繁點(diǎn)頭等這些反常的動(dòng)作，來(lái)識(shí)別其駕駛過(guò)程是否走神或疲勞。我們可以假定，駕駛員朝正前方看，表明其注意力集中，正在注視前方的道路，若其頭部長(zhǎng)時(shí)間偏轉(zhuǎn)一側(cè)或偏移角度過(guò)大，則表明駕駛員此時(shí)走神或者疲勞，有必要給他發(fā)送提醒警示。

2. 1頭部姿態(tài)的表示方法及正面基準(zhǔn)圖像

頭部姿態(tài)的轉(zhuǎn)動(dòng)包括三個(gè)自由度，即分別為繞x、y、z軸的轉(zhuǎn)動(dòng)，相應(yīng)的運(yùn)動(dòng)分別稱為橫轉(zhuǎn)( Pitch)、傾斜( Yaw)和俯仰( Roll)。頭部姿態(tài)估計(jì)都是相對(duì)駕駛員在正常駕駛過(guò)程中頭部位姿而言的，把這一姿態(tài)叫做正面基準(zhǔn)圖像。為簡(jiǎn)化算法，采用主動(dòng)設(shè)置方式，即駕駛員初次使用該系統(tǒng)時(shí)，保持駕車姿勢(shì)，目視前方，將此時(shí)的圖像作為正面基準(zhǔn)圖像，并把此時(shí)的坐標(biāo)系作為標(biāo)準(zhǔn)坐標(biāo)系，如圖2所示。

圖2 正面基準(zhǔn)姿態(tài)Fig．2 Frontal head’s pose

2. 2 圖像特征匹配

給定輸入的視頻序列，首先檢測(cè)正面人臉的位置。以正面人臉為基準(zhǔn)，標(biāo)記正面人臉圖像的姿態(tài)角度為0°。而網(wǎng)絡(luò)攝像頭獲取的駕駛員在駕駛過(guò)程中視頻序列同基準(zhǔn)圖像在不同角度、光線、遮擋等因素下有著很大的差異。圖像特征匹配，檢測(cè)到匹配點(diǎn)的數(shù)目直接影響匹配結(jié)果的準(zhǔn)確性。對(duì)于滿足傳統(tǒng)隱含假設(shè)的特征點(diǎn)文中按已有算法進(jìn)行匹配[4]，對(duì)于不滿足假設(shè)條件的區(qū)域，即難以直接匹配的區(qū)域通過(guò)優(yōu)化的方法進(jìn)行匹配，獲取更多的匹配點(diǎn)，算法如圖3所示。利用SIFT算法對(duì)相鄰幀圖像之間進(jìn)行特征點(diǎn)檢測(cè)和匹配[5]，然后利用駕駛員膚色等先驗(yàn)知識(shí)，對(duì)特征匹配結(jié)果進(jìn)行過(guò)濾和跟蹤，得到不同圖像之間的人臉區(qū)域。實(shí)驗(yàn)結(jié)果表明，70× 80像素的圖像上，大概可以獲得150個(gè)特征點(diǎn)。

圖3 圖像特征匹配算法框架Fig．3 Frame of image feature’s matching

2. 3 頭部姿態(tài)估計(jì)

基于人臉區(qū)域內(nèi)的特征匹配結(jié)果，利用對(duì)極幾何的方法估計(jì)兩幅圖像之間的姿態(tài)角度。即三維空間中某一特征點(diǎn)X，被投影到兩個(gè)不同的視角中，成像點(diǎn)位x1、x2，而成像點(diǎn)僅與攝像機(jī)的參數(shù)和相機(jī)間的相對(duì)姿態(tài)有關(guān)，文中駕駛員頭部姿態(tài)，即考慮頭部與攝像頭之間的相對(duì)運(yùn)動(dòng)，則滿足:

F為基本矩陣，是極限約束的代數(shù)表示。圖4所示的e1、e2為對(duì)極點(diǎn)，即兩攝像機(jī)的基線與成像平面的交點(diǎn); C1、C2為兩個(gè)相機(jī)的中心; l'表示第一副圖像中的x1點(diǎn)，在第二副圖像中的相應(yīng)的對(duì)極線。即

圖4 兩幅圖像間的極限幾何關(guān)系Fig．4 Ultimate geometric relationship of two images

首先，根據(jù)歸一化的線性8點(diǎn)算法獲取基礎(chǔ)矩陣。其次，在此基礎(chǔ)上進(jìn)行駕駛員頭部姿態(tài)角度。設(shè)攝像機(jī)的內(nèi)參數(shù)為K，則攝像機(jī)矩陣為

x = PX為圖像上的一點(diǎn)，則存在K-1，使得

則空間一點(diǎn)X在攝像機(jī)歸一化矩陣下的像為x^。與歸一化攝像機(jī)矩陣對(duì)應(yīng)的基礎(chǔ)矩陣為攝像機(jī)本質(zhì)矩陣與基本矩陣的關(guān)系:本質(zhì)矩陣包含了旋轉(zhuǎn)和平移矢量信息，即:

通過(guò)式( 6)可從本質(zhì)矩陣中獲取旋轉(zhuǎn)矩陣R。旋轉(zhuǎn)矩陣可轉(zhuǎn)化為歐拉角，即分別繞z、y、x的旋轉(zhuǎn)角度為α、β、γ，旋轉(zhuǎn)矩陣可表達(dá)為

基于人臉區(qū)域內(nèi)的特征匹配結(jié)果，利用動(dòng)態(tài)姿態(tài)估計(jì)算法估計(jì)圖像之間的基礎(chǔ)矩陣和本質(zhì)矩陣，進(jìn)而估計(jì)任意兩幅相鄰圖像幀之間繞旋轉(zhuǎn)軸x、y、z三個(gè)方向的相對(duì)角度。利用RANSAC算法[6]過(guò)濾圖像匹配中存在的錯(cuò)誤匹配，獲得正確的關(guān)于圖像間基礎(chǔ)矩陣的模型估計(jì)結(jié)果。

3實(shí)驗(yàn)結(jié)果分析

使用該系統(tǒng)進(jìn)行頭部姿態(tài)估計(jì)時(shí)，采用駕駛員上車后獲取的基準(zhǔn)圖像為標(biāo)準(zhǔn)正面人臉坐標(biāo)系，設(shè)駕駛員內(nèi)眼角連線的中心為坐標(biāo)原點(diǎn)。通過(guò)網(wǎng)絡(luò)攝像頭獲取的每一幀圖像，通過(guò)圖像特征匹配算法獲取足夠多的特征點(diǎn)，利用RANSAC算法將錯(cuò)誤的匹配點(diǎn)過(guò)濾，然后利用頭部姿態(tài)估計(jì)算法，計(jì)算駕駛員人臉相對(duì)于標(biāo)準(zhǔn)坐標(biāo)系的旋轉(zhuǎn)矩陣，進(jìn)而估計(jì)出該幀的駕駛員頭部姿態(tài)相對(duì)于正面姿態(tài)的α、β、γ旋轉(zhuǎn)角度。圖5為利用網(wǎng)絡(luò)攝像頭拍攝的兩端駕駛員模擬錄像，其中5a表示的是正常駕駛狀態(tài)下，利用該系統(tǒng)處理完的駕駛員頭部橫滾姿態(tài)，即此時(shí)駕駛員大部分時(shí)間目視前方，而且頭部有小幅度的左右轉(zhuǎn)動(dòng)(即橫滾)觀察路況。圖5b記錄的駕駛員處于疲勞狀態(tài)，駕駛過(guò)程中，每隔一段時(shí)間會(huì)出現(xiàn)頭部大幅度低下(即俯視)，接著會(huì)迅速抬起，而且大幅度點(diǎn)頭的頻率越來(lái)越高。圖5c表示駕駛員頭部長(zhǎng)時(shí)間左偏(即偏航)，持續(xù)時(shí)間長(zhǎng)過(guò)120幀，表示可能駕駛員走神或瞌睡。如果出現(xiàn)圖5b及5c情況，系統(tǒng)會(huì)發(fā)出警報(bào)，提醒駕駛員。

圖5 駕駛員頭部姿態(tài)估計(jì)Fig．5 Head pose estimation of driver

4 結(jié)束語(yǔ)

基于視覺(jué)的目標(biāo)姿態(tài)估計(jì)算法，可以精確估算駕駛員的頭部姿態(tài)，提高其駕駛安全性。該算法以正面人臉為基準(zhǔn)，通過(guò)不同圖像之間的特征匹配結(jié)果計(jì)算頭部姿態(tài)的相對(duì)角度，進(jìn)而獲得每幀圖像中頭部姿態(tài)的絕對(duì)角度。實(shí)驗(yàn)表明，姿態(tài)估計(jì)算法可以給出精確的姿態(tài)估計(jì)結(jié)果，在駕駛員駕駛過(guò)程中起到一定的輔助駕駛作用，可以有效避免交通事故。

[1]HUANG K，TRIVEDI M M，GANDHI T．Driver’s view and vehicle surround estimation using omnidirectional video stream[C]/ / Proceedings of IEEE Intelligent Vehicles Symposium．Ohio: Columbus．2003: 444-449．

[2] 李 力，王飛躍，鄭南寧，等．駕駛行為智能分析的研究與發(fā)展[J]．自動(dòng)化學(xué)報(bào)，2007，33( 10) : 1014-1022．

[3] VIOLA P，JONES M．Rapid objects detection using a boosted cascade of simple features[J]．Computer Vision and Pattern Recognition，2001，31( 6) : 511-518．

[4] 武 勃，黃 暢，艾海舟．基于連續(xù)算法的多視角人臉檢測(cè)．計(jì)算機(jī)研究與發(fā)展[J]．2005，42( 9) : 1612-1621．

[5] DAVID G，LOWE．Distinctive image features from scale invariant key points[J]．International Journal of Computer Vision，2004，60( 2) : 91-110．

[6] MATAS J，CHUM O．Randomized RANSAC with T-d test[J]．Image and Vision Computing，2004，22( 10) : 837-842．

(編輯 徐 巖)

Research of detection system for fatigue driving based on head pose estimation

LI Rong1，LIU Kun2，GAO Wenpeng3

( 1．School of Automobile&Traffic Engineering，Heilongjiang Institute of Technology，Harbin 150001，China; 2．School of Control Science&Engineering，Hebei University of Technology，Tianjin 300019，China; 3．School of Life Science&Technology，Harbin Institute of Technology，Harbin 150001，China)

Aimed at preventing traffic accident due to the subjective factor of drivers，this paper is focused on identifying drivers’head gesture，a reflection of drivers’intention and proposes an algorithm for dynamic head pose estimation based on computer vision．The algorithm consists of firstly estimating the relative pose between adjacent views，using Scale-Invariant Feature Transform ( SIFT) descriptors to match the corresponding feature points between two adjacent views，estimating the different frames within different pose range，and using the time of the pose range to judge the drivers’behavior consciousness for preventing traffic accident．The experiment shows that the algorithm capable of accurate estimation of drivers’head gesture can aid an improvement in driving safety．

driver; fatigue detection;head pose estimation

10. 3969/j．issn．2095-7262. 2014. 01. 022

TP391

2095-7262( 2014) 01-0099-04

A