基于車載視覺的駕駛員后視鏡查看行為檢測

黃 波，鐘銘恩,2，吳平東，黃杰鴻，喬允浩

?

基于車載視覺的駕駛員后視鏡查看行為檢測

黃 波1，鐘銘恩1,2，吳平東3，黃杰鴻1，喬允浩1

(1. 廈門理工學(xué)院機(jī)械與汽車工程學(xué)院，福建 廈門 361024；2. 廈門理工學(xué)院福建省客車先進(jìn)設(shè)計(jì)與制造重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361024；3. 北京理工大學(xué)機(jī)械與車輛學(xué)院，北京 100083)

車輛轉(zhuǎn)向時(shí)駕駛員的后視鏡查看行為是行車安全的必要措施之一，但目前關(guān)于該行為的檢測技術(shù)應(yīng)用尚屬空白。為督促駕駛員在車輛轉(zhuǎn)向時(shí)及時(shí)查看后視鏡留意車輛側(cè)后方的交通情況，基于車載單目視覺與圖像處理技術(shù)提出一種自適應(yīng)檢測方法。首先，設(shè)計(jì)幀差搜索分割算法自動(dòng)實(shí)現(xiàn)車輛啟動(dòng)期間的駕駛員臉頸初始區(qū)域定位和灰度初值計(jì)算，擺脫算法對駕駛員信息的依賴；設(shè)計(jì)脹縮分割算法快速實(shí)現(xiàn)車輛行駛期間的駕駛員臉頸區(qū)域定位和灰度均值計(jì)算。其次，提取臉頸外輪廓并定義了一種由頸部輪廓基點(diǎn)垂線劃分的左右面積比特征參數(shù)，分析表明其受駕駛員頭部姿態(tài)顯著影響。最后，結(jié)合駕駛過程的眼動(dòng)凝視數(shù)據(jù)揭示了該特征參數(shù)在駕駛員查看后視鏡過程中的累積概率局部峰值分布規(guī)律，并提出一種基準(zhǔn)特征值實(shí)時(shí)估算方法和后視鏡查看行為閾值判定原理。實(shí)驗(yàn)結(jié)果表明，該方法適應(yīng)于不同臉型，具有良好的抗干擾能力，綜合檢測準(zhǔn)確率達(dá)96.1%。

交通安全；車載視覺；駕駛員；臉頸外輪廓；后視鏡查看行為

隨著我國機(jī)動(dòng)車保有量的迅速增加，混合交通環(huán)境日益增多，交通參與者類型趨于多元化，道路交通事故率居高不下。統(tǒng)計(jì)表明，25%~30%的交通事故與低警覺駕駛直接相關(guān)，其中當(dāng)車輛拐彎、變道、并線等轉(zhuǎn)向操控時(shí)駕駛員未注意觀察車輛側(cè)后方交通情況是引發(fā)交通事故的典型原因[1-2]。實(shí)時(shí)檢測和督促駕駛員在車輛轉(zhuǎn)向時(shí)實(shí)施必要的后視鏡查看行為對于減少這類交通事故具有現(xiàn)實(shí)意義。

目前，關(guān)于后視鏡查看行為的檢測技術(shù)或應(yīng)用都尚屬空白，相關(guān)研究主要涉及駕駛員頭部姿態(tài)的識(shí)別。車載視覺技術(shù)由于具有非接觸、不額外干擾駕駛員等特點(diǎn)是其首選檢測方案。傳統(tǒng)研究多基于人臉模型[3-6]或基于紋理、眼鼻局部微結(jié)構(gòu)、臉部三角形等人臉細(xì)節(jié)特征[7-11]進(jìn)行頭部姿態(tài)估計(jì)。由于依賴人臉模型和臉部細(xì)節(jié)特征，算法適應(yīng)能力有限且實(shí)時(shí)性相對較差。為此部分學(xué)者轉(zhuǎn)向利用人臉輪廓進(jìn)行頭部識(shí)別跟蹤[12-13]。由于僅處理輪廓，盡管在細(xì)節(jié)表達(dá)能力方面有所下降，但算法實(shí)時(shí)性獲得顯著改善。存在的問題是當(dāng)駕駛員臉型改變(如更換其他駕駛員)或臉部細(xì)節(jié)變化較多(如眼鏡等佩戴物遮擋)或攝像頭成像角度改變(如調(diào)整座椅)時(shí)算法的準(zhǔn)確度易受干擾。為克服此問題，本文應(yīng)用車載視覺和圖像處理技術(shù)實(shí)現(xiàn)駕駛員臉部、頸部連通圖像區(qū)域(以下簡稱臉頸區(qū)域)的自適應(yīng)分割和輪廓特征變化規(guī)律解析，提出一種駕駛員無關(guān)的、具有良好抗干擾能力的后視鏡查看行為檢測方法。

1 檢測方案

為簡化系統(tǒng)且避免對駕駛員造成額外干擾，采用無光源單目視覺技術(shù)。攝像頭安裝位置和角度可以任意，但應(yīng)能夠拍攝到駕駛員臉頸區(qū)域。漆黑環(huán)境下無法有效采集圖像的問題可以應(yīng)用紅外成像方案加以解決。為不失一般性的重點(diǎn)研究圖像處理算法和行為檢測方法，本文僅考慮白天情況?；谒杉囊曨l圖像，檢測流程如下：

步驟1. 車輛啟動(dòng)時(shí)，利用幀差搜索分割算法自動(dòng)實(shí)現(xiàn)駕駛員臉頸區(qū)域分割和皮膚灰度初值計(jì)算，為后續(xù)圖像處理奠定參數(shù)基礎(chǔ)。圖像處理特點(diǎn)在于駕駛員無關(guān)特性，即無需預(yù)知駕駛員信息，缺點(diǎn)是搜索時(shí)間長導(dǎo)致實(shí)時(shí)性較差。

步驟2. 車輛行駛時(shí)，基于上次圖像處理獲得的參數(shù)結(jié)果，利用臉頸區(qū)域脹縮分割算法來快速實(shí)現(xiàn)駕駛員臉頸區(qū)域分割和皮膚灰度初值計(jì)算。圖像處理特點(diǎn)是實(shí)時(shí)性好。若此時(shí)車輛無轉(zhuǎn)向(本文以轉(zhuǎn)向燈為觸發(fā)信號(hào))，則重復(fù)步驟2保持臉頸區(qū)域動(dòng)態(tài)跟蹤。否則，繼續(xù)步驟3。

步驟3. 提取當(dāng)前臉頸區(qū)域的外輪廓并計(jì)算輪廓特征參數(shù)。

步驟4. 基于輪廓特征參數(shù)的累積分布概率，計(jì)算更新駕駛員分別查看車外左、右后視鏡時(shí)的臉頸輪廓的基準(zhǔn)特征值。目的在于使基準(zhǔn)值能自動(dòng)根據(jù)駕駛?cè)藛T、坐姿、座椅位置、攝像頭位置、拍攝角度等因素而調(diào)整。

步驟5. 對比當(dāng)前圖像中的臉頸輪廓特征參數(shù)和基準(zhǔn)特征值，判斷駕駛員頭部是否處于觀察車外后視鏡的位姿，并進(jìn)一步根據(jù)該位姿的持續(xù)時(shí)間判定是否實(shí)施了一次有效的后視鏡查看行為。當(dāng)判定該觀察行為無效時(shí)進(jìn)行提醒預(yù)警；反之不預(yù)警，而是應(yīng)用此次后視鏡查看行為過程中的輪廓特征參數(shù)序列更新其累積分布概率。

至此一次判斷循環(huán)結(jié)束，返回步驟2繼續(xù)下一循環(huán)，直到車輛熄火。

2 算法設(shè)計(jì)

2.1 臉頸區(qū)域幀差搜索分割算法

車輛啟動(dòng)時(shí)，車速近似為零，此時(shí)駕駛員身體移動(dòng)將是所采集圖像序列的主要變化內(nèi)容，尤其以頭部和上肢的移動(dòng)最為顯著?？筛鶕?jù)具有一定時(shí)間間隔的兩幀圖像的差分結(jié)果確定運(yùn)動(dòng)范圍并檢測出運(yùn)動(dòng)目標(biāo)[14-16]?；诖嗽?，設(shè)計(jì)駕駛員臉頸區(qū)域幀差分割算法如下：

以上結(jié)果表明：幀差搜索分割算法能夠自動(dòng)實(shí)現(xiàn)駕駛員臉頸區(qū)域的定位和分割，并計(jì)算出臉頸皮膚灰度均值，無需依賴任何預(yù)置參數(shù)信息。特別的是當(dāng)駕駛員佩戴墨鏡等遮擋物時(shí)仍有較好的識(shí)別效果，如圖2所示。算法缺點(diǎn)是相對耗時(shí)，不適用于車輛行駛時(shí)。

2.2 臉頸區(qū)域脹縮分割算法

圖1 初始臉頸區(qū)域的幀差搜索分割算法結(jié)果

圖2 佩戴墨鏡時(shí)的識(shí)別結(jié)果

圖3 臉頸區(qū)域脹縮識(shí)別結(jié)果

以上結(jié)果表明脹縮分割算法具備臉頸區(qū)域的動(dòng)態(tài)跟蹤能力。由于算法簡單和圖像處理像素少，實(shí)時(shí)性很好，可適用于車輛快速行駛過程。

2.3 臉頸輪廓提取

圖4 臉頸區(qū)域外輪廓曲線

從圖4可知，臉頸輪廓不一定是光滑或圓滑的閉合曲線，可能因毛發(fā)、眼鏡、口罩等影響而呈現(xiàn)不同數(shù)目和形狀，因此根據(jù)輪廓曲線的面積來定義特征參數(shù)相比于尺度、形狀等特性將更 可行。

2.4 輪廓特征參數(shù)定義

以查看車輛右后視鏡為例，駕駛員臉頸輪廓典線的典型變化如圖5所示。

圖5 查看右后視鏡時(shí)臉頸輪廓的典型變化規(guī)律

((a) 為駕駛員查看車輛行駛方向前方；(b) 為向右扭頭；(c) 為進(jìn)一步向右扭頭；(d) 為觀察右后視鏡狀態(tài)；(e) 為保持右后視鏡觀察狀態(tài)；(f) 為觀察結(jié)束從右往前扭回頭；(g) 為進(jìn)一步從右往前扭回頭；(h) 為恢復(fù)到查看車輛行駛方向前方。)

從圖5可知：

測得在某駕駛員左右后視鏡連續(xù)查看過程中隨頭部轉(zhuǎn)角的典型變化規(guī)律如圖6所示。

3 后視鏡查看行為判定

3.1 累積概率局部峰值規(guī)律

不同駕駛員或車輛，由于臉型差異和攝像頭安裝位置和拍攝角度不同，基準(zhǔn)特征值將不同；即使同一駕駛員駕駛同一車輛，由于座椅坐姿調(diào)整、發(fā)型變化、佩戴物品等原因都將導(dǎo)致基準(zhǔn)特征值改變。顯然不能通過預(yù)置先驗(yàn)參數(shù)值來給定基準(zhǔn)值。

圖7 駕駛過程眼動(dòng)凝視點(diǎn)檢測實(shí)驗(yàn)

圖8 l=3時(shí)某駕駛視頻的參數(shù)的概率分布

3.2 后視鏡查看行為判定原理

分別定義查看左、右后視鏡時(shí)的凝視系數(shù)為

4 驗(yàn)證分析

共招募32位駕駛員開展駕駛實(shí)驗(yàn)，臉型覆蓋蛋形、方形、圓形和三角形4類，并部分設(shè)置眼鏡(含墨鏡)、帽子等佩戴物以及胡須、披肩發(fā)等顯著毛發(fā)特征干擾源。要求各駕駛員查看后視鏡時(shí)需保持1 s以上時(shí)長的后視鏡凝視。實(shí)驗(yàn)車輛為2008年生產(chǎn)的大眾牌5座經(jīng)典寶來轎車，實(shí)驗(yàn)道路為廈門市集美新城市民廣場主路多路口段。為進(jìn)一步增加背景干擾源，開啟車窗并在后排座椅隨機(jī)安排人員乘坐。實(shí)驗(yàn)時(shí)副駕駛座乘員協(xié)助標(biāo)記每次車輛轉(zhuǎn)向操控的視頻起止時(shí)間。視頻幀率為25幀/秒，分辨率為640×480像素。針對每位駕駛員各截取50次車輛轉(zhuǎn)向時(shí)的視頻片段，共獲得1 600個(gè)樣本。據(jù)此可人為統(tǒng)計(jì)出各駕駛員在車輛轉(zhuǎn)向時(shí)未查看后視鏡的不良駕駛行為的次數(shù)。

表1結(jié)果表明：

(1) 車輛轉(zhuǎn)向時(shí)駕駛員未查看后視鏡的不良駕駛行為的綜合檢測準(zhǔn)確率為96.1%，這表明本文所提出的檢測方法具有良好的準(zhǔn)確率。

(2) 針對蛋形、方形、圓形和三角形這四類常見臉型的綜合檢測準(zhǔn)確率分別為95.2%、97.8%、95.4%和95.1%，說明檢測方法具有駕駛員臉型無關(guān)特性，即具有良好的普適能力。

(3) 當(dāng)駕駛員佩戴眼鏡、帽子或者留有胡須時(shí)，檢測準(zhǔn)確率基本不受影響，說明本文檢測方法具有良好的抗干擾能力。

(4) 但是當(dāng)駕駛員具備披肩長發(fā)特征時(shí)，檢測準(zhǔn)確率大幅下降至81%左右。其原因在于駕駛過程中披肩發(fā)對臉頸皮膚的遮擋情況可能發(fā)生持續(xù)隨機(jī)變化，導(dǎo)致輪廓特征參數(shù)偏離累積概率分布規(guī)律。任何可在駕駛過程中持續(xù)隨機(jī)遮擋駕駛員臉頸皮膚的因素都將降低檢測準(zhǔn)確率，這也是本文所提檢測方法有待改進(jìn)的環(huán)節(jié)。

此外，實(shí)驗(yàn)中發(fā)現(xiàn)：①當(dāng)駕駛員未扭頭而是通過轉(zhuǎn)動(dòng)眼球斜視或余光查看后視鏡時(shí)，檢測準(zhǔn)確率將下降至5.2%左右，對于這類情況本文檢測方法將失效；②車輛轉(zhuǎn)向期間，如果非駕駛座乘員有皮膚長時(shí)間保持貼近駕駛員臉頸部，綜合檢測準(zhǔn)確率將臨時(shí)下降至86.2%，但短時(shí)間貼近時(shí)對檢測準(zhǔn)確率基本無影響。

5 結(jié) 論

[1] World Health Organization. Global status report on road safety: Supporting a decade of action [M]. Geneva: WHO Press, 2013.

[2] 公安部交通管理局. 中華人民共和國道路交通事故統(tǒng)計(jì)年報(bào)(2013年度) [M]. 北京: 人民交通出版社, 2014.

[3] CHUTORIAN M E, TRRIVEDI M M. Head pose estimation and augmented reality tracking: an integrated system and evaluation for monitoring driver awareness [J].IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 300-311.

[4] 張波, 王文軍, 成波. 基于人臉3D模型的駕駛?cè)祟^部姿態(tài)檢測[J]. 汽車工程, 2016, 38(1): 53-71.

[5] 邱麗梅, 吳龍, 晉芳偉, 等. 基于稀疏模型的人臉姿態(tài)估計(jì)[J]. 圖學(xué)學(xué)報(bào), 2013, 34(04): 94-97.

[6] 趙剛強(qiáng), 陳嶺, 陳根才. 基于注冊和多尺度表觀模型的三維頭部跟蹤[J]. 浙江大學(xué)學(xué)報(bào): 工學(xué)版, 2009, 43(9): 1597-1603.

[7] 陳振學(xué), 常發(fā)亮, 劉春生, 等. 基于Adaboost算法和人臉特征三角形的姿態(tài)參數(shù)估計(jì)[J]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2011, 36(10): 1164-1167.

[8] TAWARI A, MARTIN S, TRIVEDI M M. Continuous head movement estimator for driver assistance: Issues, algorithms, and on-road evaluations [J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(15): 818-830.

[9] 付先平, 王亞飛, 袁國良, 等. 基于粒子濾波的駕駛員視線自動(dòng)校準(zhǔn)算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2015, 38(12): 2390-2399.

[10] 蔣建國, 胡珍珍, 詹曙. 基于深度數(shù)據(jù)的空間人臉旋轉(zhuǎn)角度估計(jì)[J]. 圖學(xué)學(xué)報(bào), 2012, 33(04): 71-75.

[11] DOMAIKA F, DAVOINE F. On appearance based face and facial action tracking [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(9): 1107-1124.

[12] 周志宇, 楊衛(wèi)成, 汪亞明, 等. 應(yīng)用梯度矢量流Snake和灰預(yù)測的人臉輪廓跟蹤[J]. 光學(xué)精密工程, 2011, 19(11): 2744-2752.

[13] 李月龍, 靳彥, 汪劍鳴, 等. 人臉特征點(diǎn)提取方法綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2016, 39(7): 1356-1374.

[14] 羅海波, 許凌云, 惠斌, 等. 基于深度學(xué)習(xí)的目標(biāo)跟蹤方法研究現(xiàn)狀與展望[J]. 紅外與激光工程, 2017, 46(5): 6-12.

[15] 李洪安, 杜卓明, 李占利, 等. 基于灰度與紋理特征的空中目標(biāo)識(shí)別與跟蹤[J]. 圖學(xué)學(xué)報(bào), 2016, 37(02): 224-229.

[16] 王靜靜, 林明秀, 魏穎. 基于灰度相關(guān)的幀間差分和背景差分相融合的實(shí)時(shí)目標(biāo)檢測[J]. 中南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2009, 40(s1): 142-148.

Apply Vehicle Vision to Detect Driver’s Rearview Mirror Watching Behaviors

HUANG Bo1, ZHONG Mingen1,2, WU Pingdong3, HUANG Jiehong1, QIAO Yunhao1

(1. School of Mechanical and Automotive Engineering, Xiamen University of Technology, Xiamen Fujian 361024, China;2. Fujian Provincial Key Laboratory of Bus Advanced Design and Manufacture, Xiamen University of Technology, Xiamen Fujian 361024, China;3. School of Mechanical and Vehicular Engineering, Beijing Institute of Technology, Beijing 100083, China)

The driver’s rearview mirror watching behavior is one of the necessary steps for driving safety when the vehicle is turning, however, the detection technology or application of this behavior is still absent. Thus an adaptive detection method of the drivers’ rearview mirror watching behaviors during the vehicle steering process was presented in this paper with the help of vehicle vision and image process technology for safety monitoring and reminding. A frame spatial gradient differences searching algorithm was designed to complete the initial parameters’ learning work on both the drivers’ face and neck regions when the vehicle engine was fired, while a expand-contract searching algorithm was invented to accomplish a fast recognition when the vehicle was moving. Contours of the driver's face and neck parts were extracted without segmentation. An area ration between left and right parts of the contours separated by a vertical line passing through the base point of neck contour was defined as a characteristic parameter. By analyzing the drivers’ eye movement data during driving, a discipline called local peak value distributing of the parameter’s cumulative probability was uncovered, which helped to build a real time eigenvalue reference estimation method and a threshold judging principle of the drivers’ rearview mirror watching behaviors. Experimental results showed that this method was not sensitive to the types and details of drivers' faces, and was robust to some disturbance, and the overall detection accuracy rate was 96.1%.

traffic safety; vehicle vision; driver; outer contour of face and neck; rearview mirror watching behavior

U 491.6

10.11996/JG.j.2095-302X.2018030477

A

2095-302X(2018)03-0477-08

2017-09-14；

2017-10-16

國家自然科學(xué)基金項(xiàng)目(61401382，61104225)；福建省自然科學(xué)基金項(xiàng)目(2015J01672)

黃 波(1991–)，男，福建莆田人，工程師，碩士。主要研究方向?yàn)闄C(jī)器視覺與圖像處理技術(shù)研究。E-mail：1595338432@qq.com

鐘銘恩(1980–)，男，福建廈門人，副教授，博士。主要研究方向?yàn)轳{駛安全與輔助技術(shù)研究。E-mail：zhongmingen@xmut.edu.cn