基于車載的運(yùn)動(dòng)行人區(qū)域估計(jì)方法

李志慧，胡永利，趙永華，馬佳磊，李海濤，鐘 濤，楊少輝

(1.吉林大學(xué) 交通學(xué)院,長(zhǎng)春 130022；2.吉林大學(xué) 計(jì)算機(jī)公共教學(xué)與研究中心,長(zhǎng)春 130022；3.中國(guó)城市規(guī)劃設(shè)計(jì)研究院 城市交通研究分院，北京100037)

0 引 言

車載行人檢測(cè)技術(shù)利用車輛前方的攝像機(jī)等設(shè)備檢測(cè)、定位以及識(shí)別行人，為無(wú)人駕駛、自動(dòng)輔助駕駛等技術(shù)提供了智能決策支持，從而提高行車安全、減少人車碰撞事故。目前，常用的檢查算法有：Haar小波行人檢測(cè)法[1]、人體形態(tài)檢測(cè)法[2-6]、HOG+SVM行人檢測(cè)法[7-9]等，這些算法均采用滑動(dòng)窗口的行人模板匹配方法來(lái)識(shí)別行人，但由于模板匹配的全局多尺度窗口搜索策略，造成行人檢測(cè)時(shí)大量的盲目搜索，降低了行人檢測(cè)的實(shí)時(shí)性。

通過(guò)檢測(cè)行人感興趣區(qū)域(Regions of interest，ROI)可以獲得可能存在行人的區(qū)域，減少滑動(dòng)窗口盲目搜索的時(shí)間，提高行人檢測(cè)的實(shí)時(shí)性。目前行人ROI檢測(cè)方法可分為兩類：①特征估計(jì)法，該方法通過(guò)圖像紋理、顏色、亮度等特征，估算行人形態(tài)、概率密度分布等，從而獲取行人ROI。如：Itti等[10]利用生物激勵(lì)注意特性，判斷顯著性區(qū)域，獲取行人ROI；Gualdi等[11]采用蒙特卡洛和高斯核函數(shù)密度估計(jì)行人ROI；Kamijo等[12]利用時(shí)空馬爾科夫隨機(jī)場(chǎng)模型估計(jì)行人ROI。該類方法雖然能夠獲取行人ROI，但模型較復(fù)雜，增加了行人檢測(cè)算法的運(yùn)行時(shí)間。②運(yùn)動(dòng)檢測(cè)法，該方法利用光流計(jì)算和運(yùn)動(dòng)分割方法，獲取行人區(qū)域。如：Zhang等[4]和Elzein等[13]利用光流計(jì)算獲取場(chǎng)景的光流場(chǎng)，利用圖分割獲取行人ROI，該方法從運(yùn)動(dòng)分割的角度為行人ROI估計(jì)提供了新的視覺(jué)，但未考慮運(yùn)動(dòng)場(chǎng)景與行人的運(yùn)動(dòng)差異性，仍無(wú)法降低光流場(chǎng)分割計(jì)算的復(fù)雜度。

為了快速定位運(yùn)動(dòng)行人ROI，減少行人檢測(cè)滑動(dòng)窗口的搜索時(shí)間，本文根據(jù)車載運(yùn)動(dòng)場(chǎng)景與行人的運(yùn)動(dòng)差異性，提出了一種基于光流聚類的行人ROI快速估計(jì)方法。該方法首先計(jì)算車載視頻圖像的光流場(chǎng)，通過(guò)光流場(chǎng)聚類和運(yùn)動(dòng)場(chǎng)景的背景光流估計(jì)，剔除背景光流。然后，利用圖分割獲取可能的行人前景區(qū)域，根據(jù)人體形態(tài)特征，去除非行人區(qū)域，獲取行人ROI，減少了行人識(shí)別盲目搜索的時(shí)間。最后，基于自有車載試驗(yàn)平臺(tái)JLU-PDS進(jìn)行試驗(yàn)測(cè)試，并與德國(guó)奔馳Daimler行人檢測(cè)基本數(shù)據(jù)集的測(cè)試結(jié)果進(jìn)行對(duì)比，結(jié)果表明了本文方法的有效性。

1 運(yùn)動(dòng)行人ROI估計(jì)方法框架

運(yùn)動(dòng)行人具有運(yùn)動(dòng)突然和隨意性強(qiáng)的特點(diǎn)，往往致使駕駛員難以發(fā)現(xiàn)而釀成無(wú)法挽回的悲劇。從而，運(yùn)動(dòng)行人ROI快速估計(jì)對(duì)車載行人預(yù)警等智能車輛技術(shù)顯得尤為重要。為快速估計(jì)行人ROI，本文制定了圖1所示的技術(shù)框架。該技術(shù)框架包括圖像獲取、光流估計(jì)、光流聚類、運(yùn)動(dòng)場(chǎng)景背景估計(jì)、光流分割、區(qū)域判別和感興趣區(qū)域獲取等部分。

圖1 基于光流聚類的運(yùn)動(dòng)行人ROI估計(jì)方法框架Fig.1 ROI estimation method of moving pedestrian based on optical flow clustering

圖像獲取利用裝載在車輛前方的攝像機(jī)獲取車輛前方道路信息；光流估計(jì)利用光流計(jì)算獲取圖像的光流場(chǎng)；光流聚類通過(guò)統(tǒng)計(jì)每個(gè)像素點(diǎn)的光流場(chǎng)強(qiáng)度和運(yùn)動(dòng)方向，獲取其運(yùn)動(dòng)場(chǎng)直方圖，該處理過(guò)程實(shí)現(xiàn)了不用運(yùn)動(dòng)屬性的物體歸類；運(yùn)動(dòng)場(chǎng)景背景估計(jì)根據(jù)車載運(yùn)動(dòng)場(chǎng)景具有基本相同的運(yùn)動(dòng)屬性，且這些運(yùn)動(dòng)屬性明顯不同于行人的運(yùn)動(dòng)屬性以及場(chǎng)景背景區(qū)域明顯大于行人圖像區(qū)域等特點(diǎn)，獲取直方圖的極大值點(diǎn)和分割邊界，實(shí)現(xiàn)運(yùn)動(dòng)場(chǎng)景背景估計(jì)；光流分割利用去除背景光流的光流場(chǎng)圖像和圖分割算法，獲取不同的分割區(qū)域；區(qū)域判斷根據(jù)人體形態(tài)特征，剔除非行人區(qū)域，獲取行人ROI。

2 感興趣區(qū)域判別模型

2.1 光流算法

光流場(chǎng)表征為圖像二維平面內(nèi)物體表面的運(yùn)動(dòng)矢量場(chǎng)，是3D空間物體表面在圖像的運(yùn)動(dòng)投影，其廣泛應(yīng)用于物體運(yùn)動(dòng)檢測(cè)。經(jīng)過(guò)多年的發(fā)展，在估計(jì)精度和速度方面取得重要進(jìn)展，并行環(huán)境下運(yùn)算速度可達(dá)到45幀/s[14]，其中基于梯度的光流估計(jì)方法應(yīng)用尤為廣泛?；谔荻鹊墓饬鞴烙?jì)方法是在假設(shè)光強(qiáng)亮度恒定和物體微小運(yùn)動(dòng)的基礎(chǔ)上來(lái)估計(jì)光流矢量場(chǎng)。

令I(lǐng)(x,y,t)為圖像I(x,y)的時(shí)間序列，假設(shè)圖像光強(qiáng)亮度恒定和物體微小運(yùn)動(dòng)，則有：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(1)

I(x+dx,y+dy,t+dt)的泰勒展開式為：

I(x+dx,y+dy,t+dt)=I(x,y,t)+

(2)

忽略高階項(xiàng)δ，則有：

(3)

Ixu+Iyv=-It

(4)

其行列式形式為：

(5)

圖像光流計(jì)算矩陣表示為：

(6)

為了計(jì)算式(5)，Lucas和Kanade[15]假定局部鄰域?yàn)槌?shù)，采用局部光流計(jì)算方法，利用最小二乘法計(jì)算矩陣方程求解圖像光流場(chǎng)；Horn和Schunck[16]采用全局光流計(jì)算方法，利用松弛迭代法求解全局能量最小，計(jì)算全局光流場(chǎng)。局部光流法對(duì)噪聲具有較好的魯棒性，但計(jì)算結(jié)果為稀疏光流場(chǎng)；全局光流法具有較好的圖像結(jié)構(gòu)邊緣探測(cè)精度，可獲取稠密光流，但抗干擾性較差。為滿足行人運(yùn)動(dòng)區(qū)域估計(jì)效率和精度的要求以及降低外界干擾的影響，本文采用文獻(xiàn)[10]中局部與全局相結(jié)合的光流求解方法，該方法利用共軛梯度法快速求解光流矩陣。圖2給出連續(xù)兩幀的光流的孟塞爾顏色可視化系統(tǒng)效果圖，其中矢量角度大小表示色相和色度，矢量模表示明度。

圖2 車載視頻連續(xù)幀光流效果圖Fig.2 Optical flow rendering of vehicle video continuous frame

2.2 光流聚類

圖像光流場(chǎng)反映了物體表面在圖像平面的運(yùn)動(dòng)投影，因此具有相同運(yùn)動(dòng)屬性的物體將具有近似相同的光流場(chǎng)。車載相機(jī)的移動(dòng)致使交通場(chǎng)景背景具有近似相同的運(yùn)動(dòng)場(chǎng)，從而交通場(chǎng)景圖像的背景每個(gè)像素點(diǎn)具有近似相同的光流矢量，即背景的光流場(chǎng)具有近似相同的幅值和方向。移動(dòng)個(gè)體作為不同于背景的運(yùn)動(dòng)，具有不同于背景的光流場(chǎng)。因此，根據(jù)運(yùn)動(dòng)差異性，可實(shí)現(xiàn)對(duì)圖像光流場(chǎng)聚類前景與背景的分離。

令u和v分別為圖像每個(gè)像素點(diǎn)光流的x和y方向分量，則圖像每個(gè)像素點(diǎn)的運(yùn)動(dòng)幅值M和運(yùn)動(dòng)方向角θ可表示為：

(7)

為快速獲取圖像背景光流分量，分別統(tǒng)計(jì)圖像光流場(chǎng)每個(gè)像素點(diǎn)的幅值M和方向角θ的直方圖，獲取圖像運(yùn)動(dòng)幅值和方向角的聚類直方圖。圖3為車載視頻連續(xù)幀及其可視化光流圖，其幅值和方向角直方圖及聚類對(duì)比圖如圖4所示。

圖3 車載視頻連續(xù)幀及光流圖Fig.3 Adjacent frames and optical flow chart

圖4 光流幅值和方向角直方圖以及聚類對(duì)比圖Fig.4 Amplitude and angle histogram of optical flow,contrast amplitude and angle graph of foreground and background

圖5 雙高斯間的最小誤分類分割閾值Fig.5 Threshold of minimum misclassification between double Gauss

圖6 圖3(a)和(b)相鄰幀閾值分割后的效果圖Fig.6 Rendering of adjacent frame threshold segmentation of figure 3(a) and 3(b)

由圖4可以看出，背景和前景的光流直方圖統(tǒng)計(jì)分布為近似高斯分布，因此圖像光流直方圖可視為背景、前景、光流場(chǎng)估計(jì)誤差以及過(guò)程噪聲等構(gòu)成的混合高斯分布。

假設(shè)圖像光流場(chǎng)直方圖為f(x)，則有：

f(x)=g1(x)+g2(x)+…+gn(x)

(8)

式中：g1(x)、g2(x)、gn(x)分別為背景、前景、噪聲干擾等高斯分量；n為高斯個(gè)數(shù)。

由于車載視頻場(chǎng)景中運(yùn)行物體和行人個(gè)數(shù)的不確定性，圖像光流場(chǎng)直方圖的混合高斯分布難以確定高斯的個(gè)數(shù)，從而通常的期望最大化(Expectation-maximization,EM)算法和K-means等聚類算法難以確定背景的高斯分布。

2.3 背景估計(jì)

通常車載視頻場(chǎng)景中圖像的背景占圖像的絕大部分區(qū)域，即圖像光流聚類直方圖的極大值點(diǎn)對(duì)應(yīng)圖像背景區(qū)域。因此，分別統(tǒng)計(jì)幅值和方向角直方圖的極大值Mmax和θmax，獲取極值點(diǎn)對(duì)應(yīng)的高斯分布作為圖像背景區(qū)域。

由圖5可以看出：兩高斯分布的最小誤分類閾值T對(duì)應(yīng)兩高斯分布的交叉點(diǎn)。為獲取背景區(qū)域與其它前景高斯分布的最小誤分類閾值，本文仍選取兩高斯分布交叉點(diǎn)作為其分類閾值。根據(jù)攝像機(jī)成像投影原理，所有的成像點(diǎn)相交于成像的滅點(diǎn)，即車輛前方距離車載攝像機(jī)較遠(yuǎn)的背景光流強(qiáng)度將趨向于0點(diǎn)，其中圖4的光流幅值直方圖可以看出，背景部分為從0點(diǎn)開始的極值點(diǎn)對(duì)應(yīng)的高斯分量。因此，圖像光流幅值聚類直方圖中幅值為M∈[0，T]且T>Mmax對(duì)應(yīng)的區(qū)間為背景部分，其中T為分類閾值，如圖6所示。此外，由于光流方向角范圍為[-π，π]以及前景運(yùn)動(dòng)方向的不確定性。為降低背景的誤分類，在方向角聚類直方圖極值點(diǎn)兩側(cè)分別選取閾值作為背景部分，即圖像光流方向角位于θ∈[t1,t2]且t1<θmax

Bmask(x,y)=

(9)

式中：(x,y)為對(duì)應(yīng)圖像像素點(diǎn)坐標(biāo)；Bmask(x,y)=1為背景點(diǎn)。

為了滿足背景估計(jì)的自適應(yīng)性要求，需自適應(yīng)確定背景光流幅值與方向角的分類閾值，即自適應(yīng)確定閾值T、t1和t2。由于分類閾值為兩高斯分布的交叉拐點(diǎn)，其中閾值T為幅值直方圖Mmax右側(cè)的第1個(gè)拐點(diǎn)；閾值t1和t2分別為方向角直方圖θmax左、右兩側(cè)第1個(gè)拐點(diǎn)。為快速自動(dòng)獲取直方圖的分類閾值，本文選取過(guò)零點(diǎn)檢測(cè)方法獲取極值點(diǎn)左、右的拐點(diǎn)。

為了降低噪聲等對(duì)直方圖造成的干擾，本文利用平滑窗口函數(shù)k(ω)與光流直方圖f(x)進(jìn)行卷積運(yùn)算，如下式所示：

ff(x)=f(x)*k(ω)

(10)

由于ff(x)的導(dǎo)數(shù)的零點(diǎn)對(duì)應(yīng)函數(shù)的拐點(diǎn)，利用差分函數(shù)求解ff(x)的導(dǎo)數(shù)ff(x)，然后利用式(11)判斷過(guò)零點(diǎn)位置，分別獲取直方圖左、右兩側(cè)的第1個(gè)零點(diǎn)位置，作為分類判決閾值，從而自適應(yīng)確定閾值T、t1和t2，其中圖6為圖像獲取背景后的前景區(qū)域效果圖。

(11)

2.4 光流分割

通常不同運(yùn)動(dòng)物體具有不同的運(yùn)動(dòng)屬性，同一運(yùn)動(dòng)物體同一時(shí)刻具有基本相同的運(yùn)動(dòng)屬性。對(duì)圖像光流圖而言，同一物體光流場(chǎng)具有均一性，不同物體具有不同的光流場(chǎng)。因此，對(duì)圖像光流場(chǎng)進(jìn)行光流分割可實(shí)現(xiàn)前景物體的分割。為了有效獲取前景物體，本文對(duì)背景剔除后的光流圖采用基于圖論[17]的分割算法。

(12)

式中：α和β分別為矢量模m和矢量夾角θ的權(quán)重系數(shù)。

根據(jù)圖G的最小生成樹，利用判決準(zhǔn)則函數(shù)D(C1,C2)決定區(qū)域C1與C2是否分割。

(13)

式中：

MInt(C1,C2)=

min(Int(C1)+τ(C1),Int(C1)+τ(C1))

τ(C)=k/|C|

式中：k為閾值參數(shù)，根據(jù)不同的需求進(jìn)行調(diào)節(jié)。

根據(jù)上述準(zhǔn)則進(jìn)行光流圖分割，得到如圖7所示的分割效果圖。其中，圖7(a)中藍(lán)色點(diǎn)表示前景光流矢量；圖7(b)中不同區(qū)域顏色不同標(biāo)識(shí)。

圖7 圖分割效果圖Fig.7 Rendering of segmentation

2.5 區(qū)域判別

通過(guò)圖像的前景光流分割獲取前景運(yùn)動(dòng)物體的有效區(qū)域，但由于前景有效分割區(qū)域除了包括行人外，還可能包含運(yùn)動(dòng)車輛、部分背景等，需進(jìn)一步剔除非行人區(qū)域。由于行人人體形態(tài)結(jié)構(gòu)異于其他物體形態(tài)的天然特性，本文利用人體形態(tài)的相關(guān)指標(biāo)特征進(jìn)行判斷，剔除部分非行人區(qū)域。

本文選取人體高度與寬度比Lw、行人區(qū)域面積S、分割區(qū)域面積與矩形窗口的面積比Sp作為評(píng)價(jià)標(biāo)準(zhǔn)，來(lái)判斷是否為可能行人區(qū)域，其表示為：

(14)

式中：Smin、Smax分別為行人區(qū)域可能最大、最小面積；Lmax、Lmin分別為行人區(qū)域可能最大、最小的身體高度與寬度比；Spmax、Spmin分別為行人區(qū)域可能最大、最小的分割區(qū)域面積與矩形窗口面積比。

圖8為運(yùn)動(dòng)區(qū)域判別效果，可見(jiàn)，區(qū)域?qū)⒚娣e較大和較小的區(qū)域剔除。

圖8 運(yùn)動(dòng)區(qū)域提取示意圖Fig.8 Schematic diagram of motion region extraction

3 試驗(yàn)結(jié)果分析

分別利用本課題組研發(fā)的JLU-PDS車載試驗(yàn)平臺(tái)(見(jiàn)圖9)以及國(guó)際Daimler[4]車載行人測(cè)試視頻集對(duì)本文算法進(jìn)行測(cè)試。

JLU-PDS試驗(yàn)環(huán)境選取吉林大學(xué)校園內(nèi)車輛運(yùn)行環(huán)境，實(shí)車測(cè)試時(shí)長(zhǎng)為2 h，其部分測(cè)試結(jié)果如圖10所示。Daimler測(cè)試視頻集為野外和城市道路上的視頻集，其部分測(cè)試結(jié)果如圖11所示。

由圖10和11可以看出，本文算法能夠較好地滿足行人被部分遮擋、野外、街道、人群等復(fù)雜環(huán)境下的應(yīng)用，實(shí)現(xiàn)不同尺度下行人ROI區(qū)域估計(jì)，同時(shí)能夠保證行人ROI區(qū)域的檢測(cè)精度，表明了本文算法具有較好的環(huán)境應(yīng)用性和較好的性能。本文算法對(duì)光流分割前進(jìn)行了預(yù)處理，極大地降低了行人檢測(cè)的搜索空間，為車載環(huán)境下的行人識(shí)別提供了快速、準(zhǔn)確的行人區(qū)域估計(jì)方法。

圖9 JLU-PDS車載試驗(yàn)平臺(tái)Fig.9 JLU-PDS vehicle test platforme

圖11 Daimler數(shù)據(jù)庫(kù)試驗(yàn)效果圖Fig.11 Experiment results of Daimler database

4 結(jié)束語(yǔ)

根據(jù)運(yùn)動(dòng)行人與車載移動(dòng)背景的運(yùn)動(dòng)差異性，通過(guò)光流聚類獲取了不同物體的運(yùn)動(dòng)表達(dá)，建立了基于光流聚類的行人ROI估計(jì)方法。通過(guò)JLU-PDS和Daimler國(guó)際行人共享測(cè)試庫(kù)對(duì)本文方法進(jìn)行實(shí)際場(chǎng)景測(cè)試，結(jié)果表明，本文方法極大地降低行人識(shí)別的空間搜索范圍，克服了傳統(tǒng)行人檢測(cè)的盲目搜索的問(wèn)題，能夠?qū)崿F(xiàn)行人的快速檢測(cè)。該方法可為車載主動(dòng)行人保障技術(shù)、無(wú)人駕駛、智能車輛等研究和應(yīng)用提供技術(shù)支持。

參考文獻(xiàn)：

[1] Papageorgiou C,Poggio T. A trainable system for object detection[J]. International Journal of Computer Vision,2000,38(1):15-33.

[2] Dollár P, Wojek C,Schiele B,et al. Pedestrian detection:a benchmark[J/OL].[2017-04-09]. http:∥www-cs.ccny.cuny.edu/～zhu/GC-Spring2010/Papers/PedestrianBenchmark.pdf.

[3] Enzweiler M, Gavrila D M. Monocular pedestrian detection:survey and experiments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(12):2179-2195.

[4] Zhang Shan-shan, Klein D A, Bauckhage C,et al. Fast moving pedestrian detection based on motion segmentation and new motion features[J]. Multimedia Tools and Applications,2016,75(11):6263-6282.

[5] Tkarli F,Aghagolzadeh A,Seyedarabi H. Combination of high-level features with low-level features for detection of pedestrian[J]. Signal Image and Video Processing,2016,10(1):93-101.

[6] Geronimo D,Lopez A M, Sappa A D,et al. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(7):1239-1258.

[7] Prioletti A, Mφgelmose A, Grisleri P,et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(3):1346-1359.

[8] Dalal N. Finding people in images and videos[J/OL]. [2017-04-09].https:∥tel.archives-ouvertes.fr/tel-00390303/document.

[9] Zhu Q,Yeh M C,Cheng K T,et al. Fast human detection using a cascade of histograms of oriented gradients[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York,USA,2006:1491-1498.

[10] Itti L,Koch C,Niebur E. A Model of Saliency—Based Visual Attention for Rapid Scene Analysis[M]. New York:IEEE Computer Society, 1998.

[11] Gualdi G, Prati A, Cucchiara R. Multi-stage sampling with boosting cascades for pedestrian detection in images and videos[C]∥European Conference on Computer Vision,Heraklion,Crete,Greece,2010:196-209.

[12] Kamijo S,Sakauchi M. Simultaneous tracking of pedestrians and vehicles by the spatio—temporal Markov random field model[J]. Ipsj Sig Notes Cvim,2003,4:3732-3737.

[13] Elzein H,Lakshmanan S,Watta P. A motion and shape-based pedestrian detection algorithm[C]∥IEEE Intelligent Vehicles Symposium,Columbus, USA,2003:500-504.

[14] Garcia-Dopico A,Pedraza J L,Nieto M,et al. Locating moving objects in car-driving sequences[J/OL]. [2017-04-11].http:∥paperity.org/p/35073989/locating-moving-objects-in-car-driving-sequences.

[15] Lucas B D,Kanade T. An iterative image registration technique with an application to stereo vision[C]∥Proceedings of the 7th International Joint Conference on Artificial Intelligence, Vancouver BC, Canada,1981:121-130.

[16] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial Intelligence,1981,17(1):185-203.

[17] Felzenszwalb P F,Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision,2004,59(2):167-181.