駕駛輔助系統(tǒng)基于融合顯著性的行人檢測算法*

蔡英鳳, 王 海,陳小波, 陳 龍,江浩斌

(1．江蘇大學汽車工程研究院，鎮(zhèn)江 212013； 2．江蘇大學汽車與交通工程學院，鎮(zhèn)江 212013)

?

2015207

駕駛輔助系統(tǒng)基于融合顯著性的行人檢測算法*

蔡英鳳1, 王 海2,陳小波1, 陳 龍1,江浩斌2

(1．江蘇大學汽車工程研究院，鎮(zhèn)江 212013； 2．江蘇大學汽車與交通工程學院，鎮(zhèn)江 212013)

為滿足先進駕駛輔助系統(tǒng)的高準確性行人檢測要求，提出一種模擬人類注意力機制的視覺顯著性行人檢測方法?；趦H含行人信息的標記樣本庫，建立了條件隨機場(CRF)模型，以實現(xiàn)不同顯著性計算方法的最優(yōu)融合。實際檢測中，首先采用SLIC算法進行圖像超像素形式的幾何信息劃分，進而對可能存在行人的區(qū)域進行初篩選，隨后在可能的行人區(qū)域內(nèi)，采用CRF模型計算顯著性，并將具有較高顯著性的區(qū)域確定為行人區(qū)域。實驗結(jié)果表明，該方法具有較好的判別性能并達到滿意的檢測率，同時，采用的行人區(qū)域篩選方法在一定程度上縮短了算法的檢測時間，基本滿足了車載平臺的實時性要求。

先進駕駛輔助系統(tǒng)；行人檢測；視覺顯著性；條件隨機場

前言

基于視覺的行人檢測是車輛先進駕駛輔助系統(tǒng)(advanced driver assistance systems，ADAS)的重要研究內(nèi)容。統(tǒng)計數(shù)據(jù)顯示，近幾年我國平均每年發(fā)生交通事故20余萬起，死亡人數(shù)超過6萬人，居世界首位。其中，超過60%的死亡人員是行人或騎自行車和騎摩托車者[1]?？梢姡行Ф煽康男腥藱z測對挽救生命有重要的現(xiàn)實意義。因此，眾多汽車生產(chǎn)企業(yè)推出了帶有行人檢測功能的概念車，EuroNCAP也在2014年新增了行人保護項目。

然而，面向ADAS 的行人檢測，受其特定應用背景的限制面臨如下挑戰(zhàn)：(1)行人檢測處于開放環(huán)境下，光照突變、遮擋等常造成行人視覺信息污染；(2)不同衣著、不同體態(tài)、不同外觀高度的行人目標具有較大類內(nèi)差異性；(3)ADAS對算法實時性與準確性要求之間存在固有矛盾。上述難點使行人檢測成為ADAS和計算機視覺的研究難點與熱點。

一般來說，行人檢測可以分成基于人體模型和基于統(tǒng)計學習兩大類方法?；谌梭w模型的方法通過歸納出一些規(guī)則或構(gòu)建出一些模板來描述行人的外觀模式、運動規(guī)律和某些特性[2-3]。文獻[4]中提出基于行人輪廓模板距離匹配計算實現(xiàn)行人識別的算法，該算法事先從大量圖像序列中勾勒出約2 500個表征行人各種可能姿態(tài)的輪廓，隨后對這些輪廓進行Chamfer距離變換，作為行人匹配的模板，該方法已被Protector項目[5]用作底層的粗粒度行人檢測方案。文獻[6]中利用不同大小的二值圖像模板對人頭和肩部進行建模，以此作為行人匹配的模板?？傮w來說，基于人體模型的算法操作簡單，但由于實際交通環(huán)境下行人姿態(tài)的復雜性，很難構(gòu)造出足夠的模板以處理不同的姿態(tài)，算法的適應性受到限制。

基于統(tǒng)計學習的行人識別方法通過不同的行人描述特征和各種分類算法的結(jié)合實現(xiàn)行人區(qū)域的判斷。該類方法立足于大量行人和非行人樣本在外觀模式上體現(xiàn)出來的統(tǒng)計規(guī)律，主要包含兩個技術(shù)環(huán)節(jié)：特征提取和分類器的設計。目前，較常用的行人特征描述器有文獻[7]中設計的Haar-like特征、文獻[8]中提出的描述圖像紋理的局部二值模式(local binary pattern, LBP)特征、文獻[9]中提出的Edgelet特征、文獻[10]中提出的邊緣方向直方圖(Edge Orientation Histograms, EOH)特征、文獻[11]中提出的尺度不變特征變換(scale invariant feature transform, SIFT)特征、文獻[12]中提出的方向梯度直方圖(histograms of oriented gradients, HOG)特征等。行人檢測領(lǐng)域常用的分類算法主要有：支持向量機(support vector machine, SVM)、各種Boosting 方法和人工神經(jīng)網(wǎng)絡(artificial neural networks, ANN)等。將人工設計的特征描述器與分類算法結(jié)合是目前統(tǒng)計學習方法進行行人檢測的主流思路。文獻[13]中利用Haar特征和AdaBoost算法和級聯(lián)分類器成功地實現(xiàn)第一個實時人臉檢測系統(tǒng)。文獻[14]中利用Haar小波特征，結(jié)合SVM算法構(gòu)造了一個靜態(tài)圖片上的行人檢測系統(tǒng)。為提高SVM的分類性能，文獻[15]中提出了直方圖交叉核(HIK)的一種近似算法，使得分類器速度接近線性SVM的同時，分類性能得到了明顯提高。文獻[16]中利用HOG特征結(jié)合可變部件模型實現(xiàn)了遮擋環(huán)境下的人體、汽車等目標的檢測。上述基于統(tǒng)計學習的方法在一定程度上或特定條件下解決了行人檢測的問題，但在復雜交通場景下，非剛體的行人目標存在的較大類內(nèi)差異性和受污染性，導致基于人工特征的分類器模型判別性能和泛化能力不足，滿足不了ADAS對高準確性行人檢測的要求。

本文中從ADAS中機器視覺用以彌補人類視覺注意力下降的根本任務出發(fā)，提出一種模擬人類注意力機制的視覺顯著性行人檢測方法。視覺顯著性是目前計算機視覺領(lǐng)域的研究熱點，在目標提取、圖像檢索、視頻摘要等方面均有成功應用，但用于特定目標識別任務的顯著性模型并不多見。本文中立足于顯著性分析的兩種現(xiàn)象：不同的顯著性計算方法在同類圖片集上有不同的顯著性分析效果；同一顯著性計算方法在不同類別圖片集合中的檢測效果存在差異，以行人檢測為目標，在統(tǒng)計學習的框架下，設計了多顯著性模型融合的行人提取方法，算法整體結(jié)構(gòu)如圖1所示。

1 行人候選區(qū)域的篩選

根據(jù)道路的特點，單幅圖像中道路場景的幾何信息主要分為天空、平面物體和垂直物體3類。其中，天空部分往往位于圖像上方，平面物體通常指路面區(qū)域，垂直物體則是豎立于路面的物體，包括行人、車輛、樹木和護欄等。因此，針對ADAS高實時性的要求和車載平臺計算能力受制約的現(xiàn)狀，本文中采用文獻[17]中提出的圖像平面信息提取方法，從道路場景中篩選出可能的行人區(qū)域，作為后續(xù)顯著性計算的范圍。

首先，基于SLIC方法[18]進行圖像底層超像素形式的劃分。底層信息是指圖像中如像素灰度、顏色等無需加工即可獲得的圖像信息，超像素是底層信息一種重要的表達方式，其本質(zhì)是一種過分割方法，即將圖像中具有相同或相似特征屬性的近鄰像素聚合成一個組，并命名為一個超像素。圖2(a)對應的超像素形式如圖2(b)所示。

其次，將每個超像素用顏色、位置、透視效果等信息進行表征，并將其輸入到一個經(jīng)預先訓練的回歸Adaboost分類器中，得到每個超像素的所屬類別：天空、路面或垂直物體。圖2(a)對應的分類結(jié)果如圖2(b)所示，路面用灰色標記、天空用淺灰色標記、垂直于路面的物體以“×”號標記。

最后，將圖像像素中屬于天空和路面的區(qū)域置為全黑BGR(0,0,0)，只有屬性為垂直物體的圖片區(qū)域參與后續(xù)顯著性計算流程。

2 顯著性融合模型的構(gòu)建

2.1 顯著性地圖的獲得

近年來，基于人類認知機制的圖片顯著性分析方法取得了不錯的研究成果，已開發(fā)出不少優(yōu)秀的計算模型。這些方法各有自己的優(yōu)點和缺點，并且他們相互之間存在互補關(guān)系。

本文中采用多種顯著性融合的思路，選用最常用的AC法[18]、HC法[19]、FT法[20]和LC法[23]4種顯著性計算方法獲得4張顯著性地圖，如圖3所示。

2.2 顯著性地圖的融合模型

對上述顯著性地圖的有效融合是本文中算法的關(guān)鍵。設m種方法獲得了圖片I的m個顯著性地圖{Si||1≤i≤m}，則圖片I位于p處像素點的融合顯著性S(p)的條件概率形式為

S(p)=P(yp=1|S1(p),S2(p)，…,Sm(p))∝

(1)

式中：yp為二進制的數(shù)值，取1表示該像素點為顯著點，否則取0，表示該點不顯著；Si(p)為顯著性地圖Si位于p像素點的顯著度值；Ζ為常量。函數(shù)ζ的不同形式則決定了融合的不同方式。

常用的ζ函數(shù)形式包括：ζ1(x)=x，ζ2(x)=exp(x)和ζ3(x)=-1/log(x)等。這些函數(shù)組合方式實現(xiàn)了優(yōu)于單一顯著性計算方法的準確性，但是，若所組合的顯著性地圖中出現(xiàn)了某一張與其他張相差較大的地圖時，對組合結(jié)果將產(chǎn)生較大影響。更為重要的是，這些組合方式只考慮了單個像素的情況，忽略了鄰域之間的相關(guān)性，不能反映行人目標的連通屬性。因此，本文中采用柵格形狀的條件隨機場模型(conditionalrandomfield，CRF)進行顯著性地圖的組合。

CRF模型節(jié)點對應于圖片I的像素點，節(jié)點的特征向量xp=(S1(p),…，Sm(p))，節(jié)點p的狀態(tài)特征函數(shù)為f(xp,yp)。CRF的節(jié)點p與其八鄰域Np內(nèi)某節(jié)點q之間的轉(zhuǎn)移特征函數(shù)為g(xp,xq,yp,yq)。定義圖片I在特征空間X={xp|p∈I} 上的顯著性Y={yp|p∈I}分布為

(2)

式中：θ={θF,θG}為CRF的模型參數(shù)，狀態(tài)特征函數(shù)和轉(zhuǎn)移特征函數(shù)的具體形式分別為

(3)

g(xp,xq,yp,yq)=ge(xp,xq,yp,yq)+

gc(xp,xq,yp,yq)

(4)

ge(·)反映了相鄰的兩個像素點在不同顯著性地圖中取值不同時，融合顯著性地圖中，這兩個像素點有較大可能出現(xiàn)不同的顯著度值。gc(·)反映了相鄰像素點顏色相似和顯著性相似的規(guī)律[21]，某兩個像素點具有相似的顏色，則他們將具有相似的顯著度。ge(·)和gc(·)的定義分別為

1(yp=0,yq=1)(Si(p)-Si(q)))

(5)

gc(xp,xq,yp,yq)=-1(yp≠yq)×

exp(-φ(||I(p)-I(q)||))

(6)

式中：1(·)為示性函數(shù)；||I(p)-I(q)||為像素點p與q在RGB空間的差值；函數(shù)φ(·)定義為φ=(2<||I(p)-I(q)||2>)-1，其中<·> 為期望運算。

2.3 CRF模型參數(shù)訓練

本文中采用文獻[22]中所述的方法進行CRF模型參數(shù)訓練。在給定已標注訓練集{Xi,Yi},i=1,2,…，n條件下，基于最大熵理論，以式(7)所示對數(shù)似然函數(shù)達到最大為依據(jù)，完成CRF模型參數(shù)θ的訓練。其中，Xi為某幅圖片，Yi為與之對應的顯著圖的二值化矩陣。訓練獲得的CRF模型對行人目標具有較好的判別性能。

(7)

3 實驗與分析

3.1 實驗樣本

利用試驗車輛，選擇良好天氣條件下(晴天和陰天)不同交通流密度的城市道路，采集了12h的視頻，從中挑選出1 000張圖片并采用了人工的方式標記了其中的行人輪廓區(qū)域，作為實驗樣本。與此同時，本文中從INRIA[23]和CVC[24]數(shù)據(jù)庫中共選擇了1 000張圖片，并對所提供的矩形框內(nèi)的圖片采用二值化處理，配合人工調(diào)整的方式分割了精確的物體邊緣區(qū)域，以此對自行采集的樣本進行補充。上述兩部分共2 000個標記樣本構(gòu)成本文中的訓練和測試集合，其中，選取1 000個標記樣本以本文中構(gòu)建的CRF模型對其進行參數(shù)訓練，部分樣本如圖4所示，其中第1行為原始圖片；第2行為標記的二值化前景區(qū)域。

3.2 算法性能分析與比較

由于本文中算法是AC法、HC法、FT法和LC法4種方法通過CRF模型融合而成，因此，須將本文中所提算法與AC法、HC法、FT法和LC法進行顯著性區(qū)域在測試集合上開展的對比實驗，部分檢測結(jié)果見圖5。

從上述結(jié)果可以看出，本文中方法獲得的顯著性前景區(qū)域優(yōu)于單個顯著性計算方法獲得的前景區(qū)域，并且CRF模型對于非行人區(qū)域有明顯抑制效果。為測試算法的性能，采用所構(gòu)建的含1 000個標記樣本的測試集，基于PR指標(precision-recall)，將本文中算法與目前主流的HOG+SVM和Haar+Adaboost行人檢測算法進行對比，結(jié)果如圖6所示。

基于圖1所示的檢測流程，對從交通場景中采集的原始圖片進行有效區(qū)域篩選，利用CRF模型提取其中的行人區(qū)域，部分實測效果如圖7所示。在ADAS行人檢測的高實時性應用中，檢測時間對算法的適用性有很大的影響。本文中算法運行平臺為Intel酷睿2雙核，2.67GHz處理器，4GB內(nèi)存，Visual C++，在INRIA數(shù)據(jù)集上64×128解析度圖片的平均檢測時間為14ms。實際應用中，通過攝像頭輸入的圖片一般大于INRIA圖片，采用天空和平面物體的濾除算法能夠去除一部分無效區(qū)域，節(jié)省運算耗時?？梢哉J為，經(jīng)過代碼優(yōu)化后本文中介紹的算法基本滿足車載平臺的實時性要求。

4 結(jié)論

針對ADAS中行人檢測的實時性和魯棒性要求，本文中提出一種基于融合顯著性的行人檢測方法。通過引入條件隨機場模型，實現(xiàn)了不同顯著性計算方法的融合，該方法不僅考慮了單個像素顯著度的融合，還考慮了鄰域像素顯著性的相關(guān)性，CRF模型離線訓練后能夠獲得較好的判別性能。同時，采用SLIC方法進行圖像超像素形式的幾何信息劃分，進而對可能存在行人的區(qū)域進行篩選，縮短了算法的檢測時間。

本文中只考慮了單個無遮擋行人目標的檢測，基于融合顯著性的遮擋行人檢測仍然有待深入研究。此外，在實際交通環(huán)境下，受到天氣與光照變化和混合交通流的影響，開發(fā)適合我國交通狀況的視覺行人檢測系統(tǒng)是一個具有挑戰(zhàn)性的課題，在后續(xù)工作中，將對具有高表征意義的行人判別性特征提取、快速分類模型等方面進一步開展研究。

[1] 邱俊. 中國交通事故和交通傷成因，特點與趨勢研究[D]. 重慶：第三軍醫(yī)大學，2009.

[2] 莊家俊. 面向汽車輔助駕駛的遠紅外行人檢測關(guān)鍵技術(shù)研究[D]. 廣州：華南理工大學，2013.

[3] 蘇松志，李紹滋，陳淑媛,等. 行人檢測技術(shù)綜述[J]. 電子學報，2012，40(4): 814-820.

[4] Liem M C, Gavrila D M. Coupled Person Orientation Estimation and Appearance Modeling Using Spherical Harmonics[J]. Image and Vision Computing, 2014, 32(10): 728-738.

[5] Gavrila D M, Giebel J, Munder S. Vision-based Pedestrian Detection: The Protector System[C]. IEEE Conference on Intelligent Vehicles Symposium, 2004: 13-18.

[6] Broggi A, Bertozzi M, Fascioli A, et al. Shape-based Pedestrian Detection[C]. IEEE Conference on Intelligent Vehicles Symposium, 2000: 215-220.

[7] Papageorgiou C, Oren M, Poggio T. A General Framework for Object Detection[C]. IEEE International Conference on Computer Vision, 1998: 555-562.

[8] Ojala T, Pietikainen M, Maenpaa T. Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J]. Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[9] Wu B, Nevatia R. Detection of Multiple, Partially Occluded Humans in a Single Image by Bayesian Combination of Edgelet Part Detectors[C]. IEEE International Conference on Computer Vision, 2005, 1: 90-97.

[10] Levi K, Weiss Y. Learning Object Detection from a Small Number of Examples: The Importance of Good Features[C]. IEEE Conference on Computer Vision and Pattern Recognition, Washington DC, USA, 2004: 53-60.

[11] Lowe D G. Distinctive Image Features from Scale-invariant Keypoints[J]. Computer Vision, 2004, 60(2): 91-110.

[12] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2005: 886-893.

[13] Viola P, Jones M. Robust Real-time Face Detection[J]. Computer Vision, 2004, 57(2): 137-154.

[14] Oren M, Papageorgiou C, Sinha P, et al. Pedestrian Detection Using Wavelet Templates[C]. IEEE Conference on Computer Vision and Pattern Recognition, 1997: 193-199.

[15] Maji S, Berg A C, Malik J. Efficient Classification for Additive Kernel Svms[J]. Pattern Analysis and Machine Intelligence, 2013, 35(1): 66-77.

[16] Felzenszwalb P, Girshick R, McAllester D, et al. Visual Object Detection with Deformable Part Models[J]. Communications of the ACM, 2013, 56(9): 97-105.

[17] Silberman N, Hoiem D, Kohli P, et al. Indoor Segmentation and Support Inference from RGBD Images[M]. Computer Vision. Springer Berlin Heidelberg, 2012: 746-760.

[18] Jiang H, Wang J, Yuan Z, et al. Salient Object Detection: a Discriminative Regional Feature Integration Approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2083-2090.

[19] Cheng M M, Zhang Z, Lin W Y, et al. Bing: Binarized Normed Gradients for Objectness Estimation at 300fps[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2014: 3286-3293.

[20] Mai L, Niu Y, Liu F. Saliency Aggregation: a Data-driven Approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2013: 1131-1138.

[21] Liu T, Yuan Z, Sun J, et al. Learning to Detect a Salient Object[J]. Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[22] Pécot T, Bouthemy P, Boulanger J, et al. Background Fluorescence Estimation and Vesicle Segmentation in Live Cell Imaging with Conditional Random Fields[J]. Image Processing, 2015, 24(2): 667-680.

[23] INRIA Person Dataset[EB/OL]. http://www.emt.tugraz.at/～pinz/data/GRAZ_01.

[24] González A, Ramos S, Vázquez D, et al. Spatiotemporal Stacked Sequential Learning for Pedestrian Detection[C]. In 7th Iberian Conference on Pattern Recognition and Image Analysis, 2015.

Pedestrian Detection Algorithm for Driver Assistance System Based on Fused Saliency

Cai Yingfeng1, Wang Hai2, Chen Xiaobo1, Chen Long1& Jiang Haobin2

1.ResearchInstituteofAutomotiveEngineering,JiangsuUniversity,Zhenjiang212013;2.SchoolofAutomotiveandTrafficEngineering,JiangsuUniversity,Zhenjiang212013

For meeting the requirements of high accuracy of pedestrian detection in advanced driver assistance systems, a visual saliency based pedestrian detection method is proposed to simulate human attention mechanism. Based on the labeled sample bank containing only pedestrian information, a conditional random field (CRF) model is set up to achieve the optimal fusion of different saliency calculation methods. In practical detection, the SLIC algorithm is used firstly to divide the image geometric information into super pixels so that the regions probably having pedestrian can be preliminarily selected. Then the CRF model is used to calculate the saliency of probable pedestrian regions and the regions with high saliency are determined to be pedestrian regions. Experiment results show that the method proposed has good discrimination performance with satisfactory detection rate. In addition, the pedestrian region searching method used reduces the detection time of algorithm to a certain extent, basically meeting the real-time requirements of onboard platform.

ADAS; pedestrian detection; visual saliency; conditional random field

*國家自然科學基金(61403172, 51305167和61203244)、交通運輸部信息化項目(2013364836900)、中國博士后基金(2015T80511和2014M561592)、江蘇省六大人才高峰項目(2014-DZXX-040)、江蘇省自然科學基金(BK20140555)、江蘇省博士后基金(1402097C)和江蘇大學高級專業(yè)人才科研啟動基金(12JDG010和14JDG028)資助。

原稿收到日期為2015年7月2日，修改稿收到日期為2015年8月15日。