一種基于改進(jìn)聚合通道特征的快速行人檢測方法

付紅杰 ，劉 悅 ，王青正

（1．開封大學(xué) 信息工程學(xué)院，河南 開封 475004；2．開封市公共安全信息化工程技術(shù)研究中心，河南 開封 475004；3．上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240）

0 引言

交通場景視頻中對行人目標(biāo)的快速檢測是當(dāng)前人工智能領(lǐng)域比較重要的研究方向之一.基于ACF聚合通道特征對視頻中的行人進(jìn)行檢測，效果較好，因此很多學(xué)者對其進(jìn)行研究，以期不斷改進(jìn)ACF特征，進(jìn)行視頻圖像的快速行人檢測.但是，基于ACF特征的行人檢測方法存在漏檢率高、漏檢窗口過多等問題.對此，學(xué)者們采用了多特征融合、深度學(xué)習(xí)框架、級聯(lián)、卷積神經(jīng)網(wǎng)絡(luò)等諸多方法，來彌補(bǔ)ACF特征帶來的檢測缺陷.陳光喜等人[1]基于聚合通道特征和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行行人檢測，但是，基于圖像數(shù)據(jù)集進(jìn)行的實驗，對實際交通場景視頻圖像中的行人檢測來說，其應(yīng)用性不強(qiáng).王世芳等人[2]設(shè)計實現(xiàn)了基于特征金字塔的快速行人檢測方法，計算關(guān)鍵尺度下聚合通道特征反映的圖像的梯度信息和顏色信息，用AdaBoost算法訓(xùn)練二階決策樹，構(gòu)成行人分類器，在進(jìn)行行人檢測時，按照預(yù)定的步長滑窗，遍歷每個尺度上的聚合通道特征，獲得檢測塊，將檢測塊作為訓(xùn)練好的級聯(lián)分類器的輸入，利用非極大值抑制，對行人候選窗進(jìn)行二次篩選，輸出最后的行人檢測框.在他們的方法下，計算量比較大.該方法比較適合嵌入式環(huán)境，在硬件一般的應(yīng)用場景下，效果不佳.目前來看，經(jīng)典的行人檢測算法都存在一定的限制[3-6]，比如應(yīng)用場景單一、不能排除噪聲的干擾、出現(xiàn)形變行人導(dǎo)致無法檢測或者漏檢錯檢、在視頻圖像中行人出現(xiàn)并排情況或者錯過的時候系統(tǒng)容易合并目標(biāo)檢測框等.本文擬著重解決行人目標(biāo)出現(xiàn)形變以及行人目標(biāo)漏檢錯檢的問題，并對檢測方法加以改進(jìn).本文擬從ACF算法入手，結(jié)合比較適合視頻處理的金字塔理論，設(shè)計實現(xiàn)基于形變金字塔聚合通道特征DP-ACF的快速視頻行人檢測方法．

1 基于DP-ACF的行人快速檢測方法

基于DP-ACF的快速檢測方法的基本算法流程是：特征提取→特征金字塔構(gòu)造→特征矢量合成→特征分類→非極大值抑制窗口融合.如圖1所示.

圖1 行人檢測算法流程圖

ACF特征是一個經(jīng)典的聚合通道特征，它融合了多個通道（如顏色通道、梯度通道等）的圖像信息，因此可以較為準(zhǔn)確地表征行人目標(biāo).聚合通道特征主要包含10個通道（3個顏色通道、6個梯度方向通道以及1個梯度幅值通道）特征的信息.聚合通道特征如圖2所示.

圖2 聚合通道特征示意圖

目前，很多算法不能有效平衡檢測目標(biāo)的準(zhǔn)確性和魯棒性指標(biāo)[7-9].本文主要研究的是：基于劃分形變區(qū)域和金字塔池化后的形變金字塔聚合通道特征DP-ACF，對行人目標(biāo)進(jìn)行檢測.改進(jìn)的DP-ACF特征能夠提高行人檢測結(jié)果的魯棒性，改進(jìn)的聚合通道特征能夠在一定閾值范圍內(nèi)成功識別形變后的行人目標(biāo)，能夠提高行人檢測器的識別精準(zhǔn)度.在本文中，提取改進(jìn)的DP-ACF特征需要劃分形變區(qū)域、金字塔池化以及向量化表示三個關(guān)鍵步驟.通過察看不同的交通場景視頻可知，行人目標(biāo)的形變都在一定范圍內(nèi)，還是可以與其他運動目標(biāo)區(qū)分開的，因此，可以進(jìn)行區(qū)域劃分，劃出感興趣區(qū)域以及檢測區(qū)域.如果在形變區(qū)域內(nèi)行人目標(biāo)的局部出現(xiàn)形變，則進(jìn)行區(qū)域校正，將出現(xiàn)形變的新區(qū)域劃進(jìn)來.以后，不論哪個行人目標(biāo)出現(xiàn)局部形變，都可以進(jìn)行區(qū)域包含，這樣一來，行人檢測的誤差就會減小很多.對于一個像素分布為64＊128的數(shù)字圖像，本文所容許的形變區(qū)域范圍是32＊32，并且要用步長為16的通道特征對形變區(qū)域進(jìn)行劃分，因此每個特征通道都可以被劃分出21個擬形變區(qū)域.

設(shè)S為形變區(qū)域的總塊數(shù)，用xij表示2＊2層的每一個塊的值.其中，j=1…M，M為金字塔的該層的塊數(shù).用f、g分別表示特征提取函數(shù)和池化函數(shù).那么，運用本文算法求得的第i個形變區(qū)域的金字塔特征DPFi可以用公式1表示：

其中，F(xiàn)z是第z個塊池化之后的特征，均值池化之后得到的S個特征就是那個形變區(qū)域的特征.接下來，就是對劃分后的圖像的形變區(qū)域的通道特征進(jìn)行金字塔均值池化處理，也就是說，將N個形變區(qū)域的通道特征按順序連接起來，最后提取的特征向量就是DP-ACF特征.通過以上步驟提取出來的行人特征，保留了低尺度的行人局部特征信息，可以讓我們很快檢測到行人目標(biāo)；還包含了高尺度的基于區(qū)域劃分的圖像空間特征，能夠適應(yīng)視頻圖像的形變情況.視頻行人檢測和跟蹤算法中，常用NMS非極大值抑制方法對漏檢進(jìn)行處理.不同于面對靜態(tài)圖像，對視頻中的行人進(jìn)行檢測時，總會出現(xiàn)一些漏檢錯檢的情況.察看視頻圖像中的相鄰幀可知，行人的大小和位置并沒有出現(xiàn)特別明顯的變化.但是，總會出現(xiàn)行人目標(biāo)沒被檢測出來或者檢測結(jié)果不符合行人大小等情況.針對此類問題，本文采用一種基于時間尺度比的非極大值抑制方法來解決.這是一種改進(jìn)的非極大值抑制方法，即在時間變化軸上再進(jìn)行一次檢測，讓行人目標(biāo)的檢測結(jié)果在尺度上連續(xù)，如果位置變化不大，則維持原來的檢測窗口.這樣做，能夠有效減少漏檢錯檢的情況發(fā)生.

2 仿真實驗結(jié)果分析

實驗主要是為了驗證傳統(tǒng)的ACF特征和改進(jìn)的DP-ACF特征在視頻行人檢測性能上的差異.首先，進(jìn)入INRIA行人數(shù)據(jù)庫，將基于兩種特征檢測的ROC曲線拿來進(jìn)行對比.如圖3所示，改進(jìn)的DP-ACF特征在漏檢率方面的走勢優(yōu)于傳統(tǒng)的ACF特征，這也能證明改進(jìn)聚合通道特征的有效性.

圖3 兩種特征的檢測性能對比

接下來，從INRIA數(shù)據(jù)庫中，將兩種特征在行人檢測時間和漏檢率上的數(shù)據(jù)調(diào)出進(jìn)行對比.如表1所示，雖然在檢測速度上慢了大約10%，但是在漏檢率方面，改進(jìn)的DP-ACF特征比傳統(tǒng)的ACF特征減少了2．8%，表現(xiàn)很好，在改進(jìn)的DP-ACF特征條件下，檢測準(zhǔn)確率得到較大幅度的提升.

表1 兩種特征在檢測時間和漏檢率上的對比

為了直觀地顯示兩個特征在檢測效果上的差異，本文在INRIA數(shù)據(jù)庫中選擇了一些圖像進(jìn)行比較．檢測結(jié)果表明，采用基于DP-ACF特征的檢測方法，能檢測出形變區(qū)域較大的行人．如圖4所示．

圖4 行人檢測效果示意圖

3 結(jié)論

在視頻行人檢測方面，存在行人變形所造成的殘留問題．本文首先研究了提取特征不同的檢測模型對行人檢測器性能的影響，然后設(shè)計實現(xiàn)了基于形變金字塔聚合通道特征的快速視頻行人檢測方法．與傳統(tǒng)的聚合通道特征相比，在模型訓(xùn)練和檢測過程中，改進(jìn)的聚合通道特征的選擇更加靈活，在對行人變形的檢測方面具有更強(qiáng)的魯棒性．實驗證明了該方法的有效性．