多特征級(jí)聯(lián)式檢測(cè)變輪廓運(yùn)動(dòng)目標(biāo)

郭克友，郭曉麗，王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院, 北京 100048)

?

多特征級(jí)聯(lián)式檢測(cè)變輪廓運(yùn)動(dòng)目標(biāo)

郭克友，郭曉麗，王藝偉

(北京工商大學(xué) 材料與機(jī)械工程學(xué)院, 北京 100048)

總結(jié)了變輪廓運(yùn)動(dòng)目標(biāo)的特點(diǎn)，并將其應(yīng)用到方向盤上操作手?jǐn)?shù)的檢測(cè)中;提出了先進(jìn)行方向盤自動(dòng)定位，再快速檢測(cè)其上操作手?jǐn)?shù)目的技術(shù)路線;預(yù)定位中運(yùn)用Haar特征的AdaBoost分類器進(jìn)行初檢，得到包含目標(biāo)輪廓的圖像;利用HOG特征的Real-AdaBoost分類器進(jìn)行精確檢測(cè)，并確定操作手位置點(diǎn)集;對(duì)取得的操作手質(zhì)心點(diǎn)坐標(biāo)集進(jìn)行奇異值分解并擬合橢圓，獲取圖像中方向盤位置，最終實(shí)現(xiàn)操作手的快速準(zhǔn)確檢測(cè);算法在保證了原算法的實(shí)時(shí)性和準(zhǔn)確性外，提高了檢測(cè)系統(tǒng)應(yīng)用的靈活性。

智能交通；操作手；特征提?。黄娈愔捣纸?/p>

0 引言

道路交通事故統(tǒng)計(jì)數(shù)據(jù)分析表明，行車過程中諸如：雙手離開方向盤，接打電話等違規(guī)操作行為是事故發(fā)生的主要誘因之一。對(duì)駕駛員操作行為進(jìn)行督導(dǎo)和安全預(yù)警提示在智能交通的范疇內(nèi)[1]。方向盤上操作手的檢測(cè)是安全督導(dǎo)系統(tǒng)亟待解決的問題。

操作手，隨駕駛?cè)藛T，位置，姿態(tài)，服飾(手套)等變化，其輪廓多變，成像效果不一，常規(guī)的檢測(cè)不能較好的解決問題。Huang D Y采用了自適應(yīng)膚色模型的方法和Gabor濾波器，并應(yīng)用主成分分析(PCA)的方法對(duì)手勢(shì)的Gabor特征進(jìn)行降維，最后利用支持向量機(jī)(SVM)識(shí)別出手勢(shì)類別。識(shí)別率最高達(dá)到96.1%，缺點(diǎn)是實(shí)時(shí)性有待提高[2]。J.Y.Lee等研究出一種橢圓邊界模型來進(jìn)行膚色分割，采用這種模型能夠快速的分割膚色。但因?yàn)橛泻芏嘁蛩匚纯紤]，特別是帶手套情況下，提取的精度較低[3]。筆者在文獻(xiàn)[4]提出了一種基于方向盤圖形判斷操作手?jǐn)?shù)目的算法(后簡稱“雙峰法”)，具有實(shí)時(shí)性和準(zhǔn)確性，但要求安裝設(shè)備固定，方向盤位置受限，在實(shí)際安裝和使用過程中禁止駕駛員調(diào)整方向盤位置。隨系統(tǒng)安裝時(shí)間增長，路途抖動(dòng)等引起攝像頭位置偏移，檢測(cè)精確度嚴(yán)重下降，需不間斷維護(hù)調(diào)整。

根據(jù)操作習(xí)慣，駕駛?cè)藛T會(huì)根據(jù)舒適度對(duì)方向盤進(jìn)行位置和角度調(diào)整。帶來的方向盤位置的未知性和不確定性，給安全督導(dǎo)系統(tǒng)對(duì)長時(shí)間單手操做，打手機(jī)等違規(guī)行為的檢測(cè)帶來不便。針對(duì)實(shí)際應(yīng)用中操作手檢測(cè)設(shè)備需要滿足：安裝位置靈活性、檢測(cè)準(zhǔn)確性和運(yùn)行實(shí)時(shí)性。本文在雙峰法基礎(chǔ)上提出雙特征的級(jí)聯(lián)式方向盤上操作手?jǐn)?shù)目檢測(cè)算法，進(jìn)行方向盤位置自動(dòng)判定，并以TI公司TMS320DM6437為主處理芯片，進(jìn)行系統(tǒng)搭建，在保證雙峰法實(shí)時(shí)性及準(zhǔn)確性的同時(shí)，提高了算法應(yīng)用的靈活性。

1 算法設(shè)計(jì)

客車行駛時(shí)間長，路況多變，駕駛室內(nèi)光照變化復(fù)雜，利用顏色，形狀或紋理特征難以準(zhǔn)確識(shí)別方向盤。為提高擬合精度，用學(xué)習(xí)的方法，從多角度提取圖像特征，訓(xùn)練多個(gè)AdaBoost分類器，級(jí)聯(lián)式精確檢測(cè)方向盤上分布的操作手位置。軟件原理框圖如圖1。將獲得的一幀720*480的圖像進(jìn)行Haar特征AdaBoost檢測(cè)，得到初檢操作手區(qū)域。提取其輪廓的最小外接矩形區(qū)域，并縮小成32*32的圖像，對(duì)其進(jìn)行HOG特征AdaBoost檢測(cè)，確定操作手，并將其輪廓最小外接矩形的質(zhì)心作為方向盤上分布的散點(diǎn)。為提高擬合精度，將待檢測(cè)區(qū)域以(180,240)為中心，進(jìn)行四象限的劃定。當(dāng)每個(gè)象限至少有9個(gè)散點(diǎn)，進(jìn)行奇異值分解求線性最小二乘解，進(jìn)行方向盤橢圓形狀的擬合。設(shè)定方向盤的寬度為30像素，將橢圓進(jìn)行雙方向15像素?cái)U(kuò)展，得到橢圓環(huán)，以模擬方向盤區(qū)域。為提高運(yùn)算速度，截取橢圓環(huán)帶最小外接矩形為感興趣區(qū)域，對(duì)感興趣區(qū)域進(jìn)行圖像預(yù)處理之后，遍歷橢圓環(huán)帶，利用“雙峰法”[4],進(jìn)行操作手的快速檢測(cè)。

圖1 系統(tǒng)軟件原理圖

1.1 初檢目標(biāo)操作手

初檢目標(biāo)要將所有操作手檢測(cè)出來，可以誤檢(即檢測(cè)出非目標(biāo)物)，但不能漏檢(即將目標(biāo)物遺漏檢測(cè))。

1.1.1 學(xué)習(xí)算法的選擇

選擇AdaBoost作為訓(xùn)練算法的原因：

(1)運(yùn)算過程中更新樣本權(quán)重，可以加大分類錯(cuò)誤的樣本權(quán)重，提高分類性能。

(2)算法是對(duì)弱分類器的加權(quán)得到最終的高準(zhǔn)確率的強(qiáng)分類器，由若干個(gè)正確率稍大于隨機(jī)猜測(cè)概率(50%)的若分類器進(jìn)行加權(quán)，其正確率是指數(shù)上升，具有較高的可靠性。

(3)Adaboost訓(xùn)練時(shí)，弱分類器的分類誤差不需先知。

在應(yīng)用中發(fā)現(xiàn)AdaBoost算法雖具高準(zhǔn)確率，但分類器訓(xùn)練比較耗時(shí)。試驗(yàn)中，正負(fù)樣本為3 000，耗時(shí)25小時(shí)左右，不利于測(cè)定分類器的準(zhǔn)確度。耗時(shí)性的根本原因是：(1)訓(xùn)練樣本和特征向量維數(shù)龐大，多達(dá)十萬級(jí)。(2)因權(quán)重改變，新的一次訓(xùn)練會(huì)將所有的弱分類器進(jìn)行重新訓(xùn)練[5]。

分類器重新訓(xùn)練是保證高準(zhǔn)確率的前提，故只能改變訓(xùn)練樣本數(shù)量和特征維度。而樣本的豐富性是準(zhǔn)確率高的保證，高維度的Haar特征可以多層次提取圖片信息?？紤]初檢要求，且訓(xùn)練過程為離線，是獨(dú)立的過程，在操作手檢測(cè)中犧牲分類器訓(xùn)練時(shí)間有必要。

1.1.2 樣本Haar特征選擇

特征的恰當(dāng)選取不但降低算法復(fù)雜度，也提高分類器效率，使判別函數(shù)分類能力強(qiáng)，減小操作手(正樣本)和非操作手(負(fù)樣本)之間距離，即類內(nèi)距離，增加其類間距離?？紤]到操作手圖片包含邊緣信息較多，選取Haar特征，特征值的計(jì)算采用積分圖法。原因如下：

(1)Haar特征維數(shù)多，能提取較多的信息。

假定訓(xùn)練或檢測(cè)窗口大小為，在該窗口中的所有矩形特征數(shù)目為:

(1)

(2)Haar特征在一定閾值下，能明顯區(qū)分正負(fù)樣本。

除Haar特征數(shù)多外，其較高的對(duì)比度也是本文選取的原因。試驗(yàn)中，隨機(jī)選取A模板對(duì)3 372 個(gè)操作手樣本和7 879個(gè)非操作手樣本進(jìn)行遍歷，得到其特征值，求取各個(gè)特征值的平均值，得到樣本特征分布圖像，不失一般性,考慮顯示前1 000個(gè)特征進(jìn)行比較，對(duì)比效果如圖2所示。可知，Haar特征能較好的反映正負(fù)樣本的本質(zhì)。

圖2 正負(fù)樣本Haar特征值對(duì)比圖

1.1.3 分類器訓(xùn)練

在針對(duì)不同的衣著、不同的光照、不同的人進(jìn)行方向盤上操作手檢測(cè)訓(xùn)練和試驗(yàn)中，進(jìn)行訓(xùn)練的有3 372個(gè)正樣本，7 879個(gè)負(fù)樣本，部分正負(fù)樣本如圖3所示。為了提高訓(xùn)練速度，正樣本統(tǒng)一縮放到20*20大小。

圖3 Haar訓(xùn)練過程正負(fù)樣本

部分Haar檢測(cè)的結(jié)果如圖4所示,除了框出手以外的其他的藍(lán)色框均為誤檢框,大量的統(tǒng)計(jì)檢測(cè)結(jié)果表明，初檢后漏檢較少，但存在大量的誤檢。

圖4 部分Haar檢測(cè)的結(jié)果

1.2 精檢目標(biāo)操作手

為了將檢測(cè)結(jié)果中的誤檢框進(jìn)行消除，本文采用了級(jí)聯(lián)的思想來消除誤檢，即將Haar特征分類器的檢測(cè)結(jié)果作為hog特征分類器的輸入，運(yùn)用hog特征再次進(jìn)行AdaBoost檢測(cè)，精確確定操作手位置，將如圖5所示的情形進(jìn)行改進(jìn)。

圖5 初檢示意圖

圖像梯度方向直方圖(Histogram of Oriented Gradients，簡稱HOG)最重要的思想是光強(qiáng)梯度或邊緣方向的分布，可以較好地描述所檢測(cè)的局部物體外形。且HOG特征描述子對(duì)于圖像的幾何和光學(xué)形變都能夠保持很好的不變性[7]。學(xué)習(xí)機(jī)器選擇對(duì)經(jīng)典AdaBoost分類器基礎(chǔ)上有提升和擴(kuò)展的Real AdaBoost。如圖6所示為HOG特征的訓(xùn)練過程流程圖。

圖6 HOG的訓(xùn)練過程流程圖

利用基于Hog特征分類器進(jìn)行精確檢測(cè)后的效果如圖7所示。

圖7 精確檢測(cè)示意圖

1.3 方向盤位置確定

將再檢后得到的操作手質(zhì)心位置記錄，作為方向盤上已知的散點(diǎn)集合。對(duì)于未知位置的方向盤，可以利用較多數(shù)量的散點(diǎn)進(jìn)行橢圓擬合。在實(shí)際安裝中，方向盤的成像為非標(biāo)準(zhǔn)橢圓。在笛卡爾系坐標(biāo)中用5個(gè)參數(shù)來唯一確定任意橢圓。5個(gè)參數(shù)為：橢圓中心x0,y0)，半長軸a，半短軸b，長軸與X軸正方向的夾角θ。平面任意位置橢圓方程的表達(dá)式用這5個(gè)參數(shù)寫為：

(2)

式(2)是5元4次的非線性方程，不便于求解，故需要將上式進(jìn)行展開并進(jìn)行變量替換如下：

x2+Axy+By2+Cx+Dy+E=0

(3)

其中:

式(3)為線性方程，利用最小二乘的思想進(jìn)行橢圓參數(shù)的擬合[8]。由已知的n(n≥5)組散點(diǎn)坐標(biāo)(xi,yi)，得到最小二乘原理擬合的目標(biāo)函數(shù)：

Cxi+Dyi+E)2

(4)

該正規(guī)方程可以寫成一下形式:

(5)

利用最小二乘法需要適當(dāng)選取5個(gè)參數(shù)的值，使得F的二范數(shù)最小。上述方程以下簡化為Px=Q,P∈Rn*5。若n=5,且P-1存在，方程組一定有唯一解。若n>5,則需要用廣義逆和奇異值分解來求解。獲得的質(zhì)心點(diǎn)坐標(biāo)都是大于0的，故P的列滿秩。由文獻(xiàn)[9]，此時(shí)

(6)

線性方程有唯一解

(7)

最小二乘法橢圓擬合較容易受壞點(diǎn)影響。如圖所示。因壞點(diǎn)個(gè)數(shù)較少，且位置較極端，在擬合效果未知的情況，本文采取對(duì)所有點(diǎn)進(jìn)行隨機(jī)劃分，所有點(diǎn)為一組，隨機(jī)選擇1/3點(diǎn)為一組，剩余的2/3為一組。將上述三組點(diǎn)分別進(jìn)行奇異值分解的最小二乘擬合橢圓，從擬合的3個(gè)橢圓如圖8所示，并從中選取最佳。

圖8 橢圓擬合受壞點(diǎn)影像圖

1.4 操作手快速檢測(cè)

方向盤位置確定之后，為縮短檢測(cè)的時(shí)間,對(duì)整幅圖像設(shè)置方向盤感興趣區(qū)域如圖9所示。圖像分辨率為720×480，感興趣區(qū)域要將整個(gè)方向盤及其外30個(gè)像素區(qū)域都包含在內(nèi)，以免駕駛員手握方向盤時(shí)轉(zhuǎn)到邊沿區(qū)域超出檢測(cè)范圍出現(xiàn)漏檢。本文中方向盤感興趣區(qū)域起點(diǎn)坐標(biāo)(0,130)，寬度340，高度430。在感興趣內(nèi)，以一度為步長沿逆時(shí)針方向搜索全方向盤區(qū)域，得到與全方向盤對(duì)應(yīng)的V-φ曲線，最后根據(jù)V-φ曲線判斷方向盤上的操作手?jǐn)?shù)目，具體算法實(shí)現(xiàn)詳見文獻(xiàn)[4]。

圖9 遍歷方向盤區(qū)域

2 算法實(shí)現(xiàn)與優(yōu)化

算法應(yīng)用于DSP系統(tǒng)，選取TI 公司的TMS320DM6437芯片為核心，應(yīng)用EMCV庫幫助實(shí)現(xiàn)。由于EMCV存在功能滯后和適應(yīng)性低等諸多缺點(diǎn)，針對(duì)其在DM6437上的應(yīng)用，本文對(duì)其實(shí)現(xiàn)作如下改進(jìn)：

1)定點(diǎn)化數(shù)據(jù)。針對(duì)嵌入式系統(tǒng)浮點(diǎn)數(shù)計(jì)算速度慢的特點(diǎn)，通過TI公司的IQmath庫將浮點(diǎn)數(shù)轉(zhuǎn)換為定點(diǎn)數(shù)進(jìn)行計(jì)算[11-12]，可以極大提高系統(tǒng)運(yùn)行速度。

2)基本數(shù)據(jù)結(jié)構(gòu)的改造。剔除不符合嵌入式系統(tǒng)應(yīng)用的冗余判斷和定義，增加嵌入式函數(shù)接口的數(shù)據(jù)定義。

3)常用函數(shù)的添加和改寫。增加與EMCV接口一致的常用函數(shù)，如OTSU等函數(shù)。

為滿足實(shí)時(shí)檢測(cè)的需求，結(jié)合DM6437內(nèi)核的特點(diǎn)，通過優(yōu)化存儲(chǔ)器的存取效率和提供程序的并行化來縮短程序運(yùn)行所需要的指令周期數(shù)，加速代碼的運(yùn)行。

本文的試驗(yàn)車型為桂林佳利安中型客車和廣州宇通客車，攝像頭固定于駕駛員前上方風(fēng)擋玻璃處。DM6437處理視頻幀的分辨率為720×480，改進(jìn)后，平均每幀圖像檢測(cè)時(shí)間由原

來的72 ms提高到36 ms，效果顯著，符合實(shí)時(shí)檢測(cè)的要求。算法對(duì)于駕駛員不同衣著、不同光照、不同駕駛姿態(tài)都有較好的檢測(cè)精度。

設(shè)備安裝完成后，在車輛正常運(yùn)行過程中，車載終端會(huì)實(shí)時(shí)檢測(cè)駕駛員雙手操作方向盤行為，當(dāng)駕駛員雙手離開方向盤或長時(shí)間單手離開時(shí)，程序就會(huì)對(duì)該幀進(jìn)行標(biāo)記，當(dāng)駕駛員持續(xù)兩秒雙手離開方向盤時(shí)，即將當(dāng)前幀抓拍下來，傳輸?shù)胶笈_(tái)。通過安裝30臺(tái)安全督導(dǎo)系統(tǒng)示范終端，可以遠(yuǎn)程監(jiān)控不正確的駕駛行為，提醒駕駛員保持正確的駕駛姿勢(shì)，達(dá)到督導(dǎo)駕駛員安全行車的目的?？梢酝ㄟ^登陸網(wǎng)頁的形式，查看某一輛車的駕駛員違規(guī)操作方向盤的記錄。

3 結(jié)束語

本文提出一種方向盤預(yù)定位機(jī)制檢測(cè)操作手?jǐn)?shù)目，結(jié)合Haar特征和HOG特征進(jìn)行AdaBoost級(jí)聯(lián)式操作手檢測(cè)，得到方向盤上分布的散點(diǎn)。并利用奇異值分解的最小二乘進(jìn)行非標(biāo)準(zhǔn)橢圓的擬合，得到方向盤位置，使“雙峰值”法得到了完善。試驗(yàn)結(jié)果表明，算法具有很好的檢測(cè)精度和魯棒性，可行性較高，能夠滿足實(shí)時(shí)性要求，對(duì)于督導(dǎo)駕駛員安全行車具有重要意義。

[1] 公安部交通管理局.中華人民共和國道路交通事故統(tǒng)計(jì)年報(bào)[R],2010.

[2] Huang D Y, Hu W C,Chang S H.Gabor filter-based hand-pose angle estimation for hand gesture recognition under varying illumination[J].Expert Systems with Applications,2011,38(5):6031-6042.

[3] Lee J Y, Yoo S I. An elliptical boundary model for skin color detection[A], In Proc.of the 2002 International Conference on Imaging Science, Systems, and Technology[C].2002.

[4] 郭克友,紀(jì)彬,陳雪潔,余貴珍. 一種方向盤上操作手?jǐn)?shù)目檢測(cè)算法[J]. 計(jì)算機(jī)工程與應(yīng)用,2015(10)：177-181.

[5] 王海川,張立明. 一種新的Adaboost快速訓(xùn)練算法[J]. 復(fù)旦學(xué)報(bào)(自然科學(xué)版),2004(1):27-33.

[6] 文學(xué)志,方 巍,鄭鈺輝. 一種基于類Haar特征和改進(jìn)AdaBoost分類器的車輛識(shí)別算法[J]. 電子學(xué)報(bào),2011(5):1121-1126.

[7] 郭金鑫,陳 瑋. 基于HOG多特征融合與隨機(jī)森林的人臉識(shí)別[J]. 計(jì)算機(jī)科學(xué),2013(10):279-282.

[8] 劉書桂,李 蓬,那永林. 基于最小二乘原理的平面任意位置橢圓的評(píng)價(jià)[J]. 計(jì)量學(xué)報(bào),2002(4):245-247.

[9] 徐文華,孫學(xué)棟. 奇異值分解求線性最小二乘解的理論分析[J]. 貴陽學(xué)院學(xué)報(bào)(自然科學(xué)版),2009(4):1-4.

[10] Texas Instruments Incorporated. TMS320DM6437 Digital Media Processor(SPRS345D)[Z], June, 2008.

[11] Texas Instruments Incorporated. TMS320C6000 Optimizing Compiler v7.4 User’s Guide(SPRU187u)[Z]. July, 2012.

Multi-Attribute Cascading Identify Variable Contour Moving Targets

Guo Keyou, Guo Xiaoli, Wang Yiwei

(School of Material and Mechanical Engineering, Beijing Technology and Business University, Beijing 100048,China)

It summarized the characteristics of variable contour moving targets, and applied it to detect operating hands’ position on steering wheel. It raised a means by automaticly detecting the position of steering wheel firstly, and after that detecting the operating hands. For gathering the operating hands’ positions, this paper used AdaBoost on Haar to detect preliminarily and Real-AdaBoost on HOG to detect precisely. It fitted ellipse using SVD based on mass center coordinates of operating hands to simulate steering wheel and detected the operating hands quickly and accurately. Algorithm not only ensures the real-time and accuracy of the original one, but improves flexibility.

intelligent transportation; operating hands; feature extraction; SVD

2015-10-15；

2015-11-11。

交通運(yùn)輸部信息化科技項(xiàng)目(2012-364-835-110)；北京工商大學(xué)科研能力計(jì)劃項(xiàng)目。

郭克友(1975-)，男，博士，副教授，主要從事安全輔助駕駛方向的研究。

1671-4598(2016)03-0263-04

10.16526/j.cnki.11-4762/tp.2016.03.072

TP3

A