一種基于視頻的道路行人檢測方法

付 洋，宋煥生，2，陳 艷，朱小平

(1.長安大學(xué) 信息工程學(xué)院，陜西 西安710064;2.陜西省道路交通智能檢測與裝備工程技術(shù)研究中心，陜西 西安710064)

混合交通是中國交通的主要特點，其中行人交通占有很大一部分比例，特別是在城市交通環(huán)境中，而且這種現(xiàn)象也將維持相當長一段時間。因此，保障行人安全和減少其對機動車輛正常行駛的干擾是交通建設(shè)的重要目標。近年來，隨著圖像處理技術(shù)的快速發(fā)展，基于視頻的行人檢測技術(shù)被廣泛用于智能交通管理，成為研究的熱點。

麻省理工學(xué)院(MIT)人工智能實驗室的Miacheal Oren等人提出的基于小波變換的模板匹配檢測算法［1］，首先對大量樣本圖片做Haar小波變換得到這些圖片的特征參數(shù)，其次對這些特征參數(shù)求取平均值并以此建立模板庫，最后對輸入圖像做小波變換后，將得到的參數(shù)與模板庫匹配，可以準確地識別行人。但該算法計算量太大，雖然，HaliElzein等人對此方法做了一定的改進［2］，通過選取一部分有代表性的樣本建立模板，使得計算復(fù)雜度有一定的提高，仍然不能滿足實時性要求。於建生等人提出了一種基于視頻的新型行人識別方法［3］。該方法通過背景差法得到視頻圖像中的前景物體，結(jié)合行人的形狀、非剛體性等特征對前景目標采用Kalman濾波器進行匹配跟蹤，實現(xiàn)行人識別。姚亞夫等通過背景差分得到有行人運動目標二值圖像，引入水平融合值、垂直融合值將滿足融合要求的非連通區(qū)域外接矩形融合得到一個新矩形，以該矩形的中心作為行人位置特征，以此對行人檢測和跟蹤［4］。后兩者提出的方法能準確地檢測行人，但都是針對于近場景中出現(xiàn)的行人目標，當有遮擋和光照等影響時會導(dǎo)致目標跟蹤丟失，嚴重影響檢測效率，無法滿足實際交通場景中行人檢測的要求。這兩種算法效率較前面方法有一定的提高，但對圖像的處理都以像素為基本單位，如果圖像分辨力較大時仍然不能滿足系統(tǒng)的實時性要求。

本文提出了一種基于背景差法提取運動目標的方法，依據(jù)行人的輪廓、行人的像素高度與實際距離的線性變化關(guān)系和行人位置特征，對行人目標做連續(xù)多幀匹配跟蹤求得其平均速度，最后結(jié)合行人速度特征，從而實現(xiàn)行人目標檢測。該方法具有識別準確度高、實時性強，并能有效地解決遮擋和光照干擾等特性。同時，將圖像分為大小相同的塊，以塊為單位處理圖像數(shù)據(jù)，有效地降低了算法復(fù)雜度，具有良好的實時性。

1 目標提取

本文采用背景差法提取運動目標，根據(jù)李璄等人提出的道路背景提取更新算法［5］提取背景模板并加以實時更新。對于連續(xù)輸入的圖像序列，通過背景差法做二值化處理即可得出運動目標，同時使用形態(tài)學(xué)濾波消除噪聲的干擾。實時灰度圖像如圖1所示。

圖1 實時灰度圖像

在實際的交通場景中因光照影響使得背景差得到的二值化目標常帶有影子，嚴重影響運動目標的檢測。為了提高算法效率，本文將二值化圖像分割成相等大小的塊，以塊為單位對二值化圖像進行處理，像素二值化圖像如圖2所示。假設(shè)輸入圖像大小為H×W(H表示圖像高度，W表示圖像寬度)，將圖像分割為R×C(R為塊高度，C為塊寬度)。如果每個塊中白色像素的個數(shù)大于該塊像素總和的一半，就將該塊賦為白色，否則賦為黑色，該過程稱為塊二值化過程，如圖3所示。后文提到坐標均指塊坐標，每個塊坐標用其左下角像素點的坐標表示。

如圖3所示，二值化圖像上行人的高度明顯比影子要高，本文利用這一特點來實現(xiàn)陰影消除。首先，對二值化圖像做連通域標記，獲得每個目標的高度和寬度信息。如圖3中所示的目標外接矩形。假設(shè)一個二值化目標的外接矩形內(nèi)每個塊的狀態(tài)用B(i，j)表示，那么有

圖4 消影處理后的圖像

2 行人檢測算法

在預(yù)處理的基礎(chǔ)上，依據(jù)提取目標的輪廓特征，結(jié)合目標實際距離與像素高度的線性變化關(guān)系，初步判定行人目標，結(jié)合目標的運動位置特征對同一目標做連續(xù)多幀匹配跟蹤，最后，通過計算目標的平均速度，實現(xiàn)行人目標檢測。

2.1 行人輪廓檢測算法

交通場景中一般出現(xiàn)較多的是車和行人，而車和人的輪廓形狀有很大差異，行人一般保持著豎立行走，即便是有負重、攜帶物品等影響，在圖像上滿足高度大于寬度。

通過連通域標記可以獲得運動目標在圖像中的高度和寬度，假設(shè)分別為Hy和Wx，則高寬比為Rt=Hy/Wx。如果Rt≤2，則該目標為非人;如果Rt＞2，則對該目標做后續(xù)檢測。對圖3中每個目標按照輪廓檢測算法處理后，結(jié)果如圖4，得到滿足該條件的行人目標。

2.2 像素高度與實際距離的線性變化關(guān)系檢測算法

根據(jù)攝像機成像原理和文獻［6］可以得到攝像機、圖像平面、人和實際路面有如圖5的成像關(guān)系。

圖5 相機、圖像平面、人和實際路面幾何成像關(guān)系圖

圖5 中，P為圖像平面的最底行，RS和UT分別為人在圖像上不同位置處的像素高度，AB和EF為行人的實際高度。D，A，C，E，G分別為圖像平面的點P，S，R，T，U映射到實際路面的點。OV為相機距離路面的實際高度。BH和FI分別垂直于VA和VE。

在實際的交通場景中，攝像機距離地面的距離一般在5 m左右，攝像機拍攝的視角一般都在幾十米至幾百米之間，可以忽略O(shè)V，近似有OA=VA，OE=VE，∠AVB=∠EVF，BH=AB=FI=FE，VP=VS=VR=VT=VU。那么有△AVB和△EVF均為等腰三角形，且△SVT和△TVU分別與△AVB和△EVF相似。則有如下關(guān)系式

通過文獻［7］和文獻［8］中提到圖像平面每個像素到實際路面距離的映射關(guān)系可以建立圖像上像素點到實際距離的映射表，映射表所對應(yīng)的實際距離為以D點為參考點，但在實際的交通場景中，OD是未知的。首先，在圖像上標定同一行人在不同位置處像素坐標R，S，U，T，如圖6所示。

圖6 行人像素高度標定

對同一行人則有

由連通域標記可得每個目標在圖像上S點和T點的對應(yīng)的像素高度RS和UT，通過查找映射表，可得S點和T點對應(yīng)的實際距離DA和DE，通過方程(3)和方程(4)可以解得OD值。

由公式(3)與式(4)相比可得

且當0.7＜βk＜1.4時，就認為該目標為行人目標，繼續(xù)做位置匹配跟蹤;否則為非行人目標，不再處理。

2.3 行人匹配跟蹤與速度檢測算法

據(jù)統(tǒng)計，成人的速度一般在1.4 m/s左右，且通常保持基本相同的低速前進或者靜止狀態(tài)。本文以相鄰幀之間的運動目標的質(zhì)心位移小于某一閾值L作為匹配準則，實現(xiàn)連續(xù)多幀跟蹤，最后計算得到行人速度。

對于第k幀圖像中某一運動目標，其質(zhì)心計算如下

式中:NB為當前運動目標標記區(qū)域白塊的個數(shù)。

在滿足2.1節(jié)和2.2節(jié)條件的運動目標第一次出現(xiàn)的圖像中，記錄當前幀圖像位置信息(xk，yk)。則第k幀和第k+1幀的位移變化量為

對于同一目標在相鄰兩幀滿足式(8)時，認為該目標實現(xiàn)匹配跟蹤。當匹配跟蹤達到N次時，計算N幀內(nèi)的平均速度。首先，查映射表找到圖像上點(xk，yk)和(xk+N，yk+N)所對應(yīng)的實際的距離Lk和Lk+N，則該目標的平均速度為

式中:N-1為相鄰兩幀匹配次數(shù);t為相鄰幀時間間隔。

取一個閾值VT，當V＜VT時，就認為該目標為行人;否則，判定為非行人。

當行人在攝像機的遠視角區(qū)域時，會出現(xiàn)背景更新不均勻的現(xiàn)象;有時，也會出現(xiàn)運動車輛對行人短時間、部分區(qū)域遮擋的現(xiàn)象。以上兩種現(xiàn)象都會造成二值化目標提取失敗，無法匹配跟蹤。當?shù)趉幀的目標在第k+i幀重新出現(xiàn)時，如果幀差i滿足i＜T，且式(10)成立時，就認為第k幀的目標在第k+i幀能夠匹配，實現(xiàn)跟蹤匹配。當總的匹配次數(shù)為N時，采用式(11)計算該目標的平均速度V'，當V'＜VT時，就認為該目標為行人;否則，目標判定為非行人。公式為

式中:N-1為相鄰兩幀匹配次數(shù);t為相鄰幀時間間隔;i為匹配丟失幀數(shù)。

3 實驗結(jié)果

利用本文提出的算法對幀頻為25 f/s(幀/秒)，分辨力為720×288的視頻序列做行人檢測實驗。在TMS320DM6437 DSP嵌入式系統(tǒng)、內(nèi)存128 Mbyte、主頻600 MHz的環(huán)境下測試，該算法具有良好的實時性。

圖7是針對高速公路場景進行的行人檢測。該場景的車流量密度小，干擾信息少，從圖7c可以看出，該算法能夠通過對行人目標的多次匹配跟蹤準確地檢測行人目標。其中陰影部分為過去每幀行人目標標記，白色為當前幀中行人目標標記。

圖7 高速公路場景行人檢測

圖8 為城市交通場景遠景區(qū)域行人的檢測。由于車流量密度大和綠化帶等干擾因素，遠景區(qū)域背景更新不均勻造成的運動目標提取失敗。圖8c中第3 046幀為目標丟失前一幀匹配跟蹤圖，第3 051幀為行人目標丟失，當前幀中無法實現(xiàn)匹配跟蹤，第3 054幀為行人目標再次出現(xiàn)，從其匹配跟蹤框軌跡可以看出，行人目標在丟失9幀后再次實現(xiàn)匹配跟蹤，準確地檢測出行人目標。

圖8 城市交通場景遠景行人檢測

圖9 是城市交通場景中運動車輛對行人的部分遮擋問題。圖9c中第5 395幀為行人目標丟失前一幀匹配跟蹤軌跡圖，第5 400幀為行人目標被遮擋，在當前幀中丟失匹配跟蹤目標，第5 410幀為行人再次出現(xiàn)，從其匹配跟蹤軌跡可以看出，行人目標在丟失15幀后能再次實現(xiàn)匹配跟蹤，將行人目標準確地檢測出來。

圖9 城市交通場景車輛遮擋行人檢測

4 結(jié)束語

本文提出的行人圖像像素高度和實際距離的線性關(guān)系，結(jié)合行人位置特征，通過多幀匹配跟蹤，能有效地解決遮擋、遠景背景更新不均勻等造成行人目標丟失的情況。同時，本文中提出投影法能有效地消除光照產(chǎn)生的陰影，以塊為單位處理圖像有效地降低了算法復(fù)雜度，提高系統(tǒng)的實時性。

［1］OREN M，PAPAGEORGIOU C，SINHA P，et al.Pedestrian detection using wavelet templates［C］//Proc.IEEE Computer Vision and Pattern Recognition，1997.Washington，DC，USA:IEEE Press，1997:193-199.

［2］ELZEIN H，LAKSHMANAN S，WATTA P.A motion and shape-based pedestrian detection algorithm［C］//Proc.IEEE Computer Vision and Pattern Recognition，2003.［S.l］:IEEE Press，2003:500-504.

［3］於健生，汪宏，顧晶.一種基于視頻的新型行人識別方法［J］.信息化研究，2010，36(3):19-21.

［4］姚亞夫，劉佰昂.基于位置特征的運動行人檢測與跟蹤方法［J］.廣西大學(xué)學(xué)報，2009，34(6):769-773.

［5］李璟，劉懷愚，洪留榮.改進的道路北京提取和更新算法［J］.計算機應(yīng)用，2010，30(6):1266-1267.

［6］羅珍茜，薛雷，孫峰杰，等.基于HALCON的攝像機標定［J］.電視技術(shù)，2010，34(4):100-102.

［7］于艷玲.視頻檢測技術(shù)中車速檢測研究［D］.西安:長安大學(xué)，2009.

［8］王子亨，穆森，邱桂蘋.攝像機非線性標定方法［J］.計算機工程與設(shè)計，2010，31(15):3526-3529.