基于多特征和多核學習的行人檢測方法的研究

孫 銳， 侯能干， 陳效華

（1. 合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2. 奇瑞汽車股份有限公司前瞻技術(shù)科學院，安徽 蕪湖 241009）

基于多特征和多核學習的行人檢測方法的研究

孫 銳1,2， 侯能干1， 陳效華2

（1. 合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2. 奇瑞汽車股份有限公司前瞻技術(shù)科學院，安徽 蕪湖 241009）

行人檢測系統(tǒng)涉及交通安全問題，需要很高的魯棒性，基于單特征結(jié)合單核支持向量機的方法效果有限，為解決這一問題，提出采用多特征和多核學習的方法來提升系統(tǒng)的魯棒性，通過將積分信道特征、多層次導(dǎo)向邊緣能量特征和CENTRIST特征分別與直方圖交叉核、高斯核和多項式核進行線性組合，采用簡單多核學習（Simple MKL）來分別計算核函數(shù)的權(quán)重系數(shù)，將多核學習方法與經(jīng)典的梯度直方圖特征/支持向量機、多尺度梯度直方圖特征/直方圖交叉核支持向量機和特征融合/直方圖交叉核支持向量機的行人檢測方法進行比較，實驗表明所提出的行人檢測算法的魯棒性有明顯提升。

簡單多核學習；直方圖交叉核支持向量機；CENTRIST特征；積分通道特征；多層次導(dǎo)向邊緣能量特征

行人檢測就是要把視頻或者圖像中出現(xiàn)的行人從背景中分割出來并精確定位，它在視頻監(jiān)控、智能駕駛等領(lǐng)域有著廣泛的應(yīng)用前景。但由于行人目標無論是在身材、衣著、姿勢，還是在視角、光照方面都有著較大的變化，加之復(fù)雜的背景場景以及攝像頭自身的移動和晃動，同時行人檢測要求很高的精度和實時性，使得行人檢測成為機器視覺領(lǐng)域中最困難的課題之一。

目前，行人檢測方法主要分為特征提取和機器學習兩部分。2005年，Dalal和Triggs[1]提出了梯度方向直方圖(histograms of oriented gradient, HOG)特征加線性支持向量機(support vector machine, SVM)分類器的行人檢測方法在實驗中取得了很好的表現(xiàn)，但對遮擋和復(fù)雜背景下的行人檢測效果差，所以一些對遮擋處理和在復(fù)雜的背景下新的行人檢測方法的文章相繼發(fā)表[2-3]。Walk等[4]提出顏色自相似特征(self-similarity on color channels, CSS)，通過人體部位間的顏色相似性來描述人體，且結(jié)合HOG特征使用，大大提升了行人檢測效果。目前用于行人檢測的分類器有主要SVM和AdaBoost兩類。Maji等[5]采用一種新的核SVM——直方圖交叉核SVM(histogram intersection kernel support vector machine, HIKSVM)來檢測行人，該算法能快速檢測到行人，且檢測精度有所提升。朱文佳和戚飛虎[6]提出了一種Gentle Adaboost的分類策略并成功地應(yīng)用于行人檢測。而種衍文等[7]提出采用多特征結(jié)合Adaboost和SVM的兩級行人檢測算法，取得了很好的效果。AdaBoost分類器分類速度快，但訓(xùn)練時間長，訓(xùn)練復(fù)雜度隨支持向量的數(shù)量增加呈現(xiàn)指數(shù)型增長。

現(xiàn)階段行人檢測技術(shù)正趨于向大規(guī)?；?、檢測精度和速度趨于實用化的方向發(fā)展，基于單特征的單核 SVM 方法的行人檢測算法已經(jīng)很難滿足需求，不同核函數(shù)的特性不同，同一個數(shù)據(jù)集和相同的特征，如果采用的核函數(shù)不同，得出的結(jié)果卻大不相同。隨著大數(shù)據(jù)的時代到來，數(shù)據(jù)樣本規(guī)模大，樣本特征含有異構(gòu)信息，多維數(shù)據(jù)的特征空間分布不平坦，采用單核對這些樣本進行處理時發(fā)現(xiàn)效果并不是太好，采用單核簡單的映射方法已經(jīng)不能滿足需要，這使得人們把目光轉(zhuǎn)向了多核學習(multi-kernel learning, MKL)方法。MKL的目的是在訓(xùn)練SVM時優(yōu)化權(quán)值系數(shù)，獲得更好的分類能力。MKL是當前核機器學習領(lǐng)域的一個新的研究課題，并且提供了來自多個數(shù)據(jù)源的學習框架。研究表明使用多個內(nèi)核可以提高決策函數(shù)的性能和適應(yīng)性。本文采用行人檢測常用的3種特征，基于簡單多核學習方法提出了一種魯棒的行人檢測方法，對比單核分類方法檢測精度有了明顯提升。

1 特征提取

1.1 積分通道特征

積分通道特征都是一些相對簡單的特征[8]，這些特征利用積分圖技術(shù)，使得計算簡單且快速。通過實驗可知，融合形成的新特征性能遠高于其他特征包括HOG特征，它有以下優(yōu)點：①不同的信息源（顏色，梯度等）；②參數(shù)少且對參數(shù)不敏感；③在檢測時能準確地定位空間。

底層特征有很多類型，都是基于對輸入圖像進行線性或者非線性的變換而產(chǎn)生。主要有：灰度(Gray)和彩色(RGB、HSV、LUV)；線性濾波（Gabor濾波器，高斯濾波器）；非線性變換（梯度，Canny邊緣）；梯度直方圖等。底層特征都只能從某一方面表示圖像的屬性。實驗表明[8]，梯度直方圖(Hist)，梯度(Grad)，彩色通道(LUV)這3個通道相結(jié)合時效果最好，計算簡單、快速并且識別率最高。如圖1(LUV+Grad+Hist)所示，計算過程如下：

(1) 通過線性或非線性變換產(chǎn)生10個通道。

(2) 在給定通道對多個矩形框（矩形框的大小為30×30）加總求和得到一組值。

(3) 對每個通道隨機取200個矩形框，從而形成了一個2000維的特征。

當矩形框數(shù)量取得較大時，系統(tǒng)的檢測率會比較高，但相應(yīng)的特征維數(shù)也較高，系統(tǒng)運行時間則大大增加。實驗表明，當矩形框數(shù)量分別為200個和250個的時候檢測性能基本相同，對于320×240大小的輸入圖像，得到的特征維數(shù)分別為 2000（Hist：1200維；Grad：200維；LUV：600維）和2500（Hist：1500維；Grad：250維；LUV：750維），消耗的時間分別為0.025 s和0.0034 s。所以折中考慮算法選取200個矩形框。

圖1 示例圖像

1.2 多層次導(dǎo)向邊緣能量特征

本文采用的另一特征是多層次導(dǎo)向邊緣能量特征(multi-level oriented edge energy features)[9]。此特征是基于HOG的多尺度版本(multi-level HOG)。該特征先前用于人臉識別，取得了很好的效果，相比HOG特征而言，此特征更加簡單且沒有重疊的cell，特征維數(shù)也較低。如果輸入圖像是 64×128，HOG特征維數(shù)是3780維，而此特征維數(shù)為 1360維。降低了近3倍，但該特征的分類準確率卻沒有降低。圖2描述計算特征圖像(64×128)的過程，計算步驟如下：

(1) 通過與Gabor方向濾波器卷積計算圖像在8個方向上的邊緣能量響應(yīng)。

(2) 然后對這8個方向的能量響應(yīng)在一個固定大小(16×16)非重疊的cell進行L1正規(guī)化。

1.3 CENTRIST特征

圖2 多層次導(dǎo)向邊緣能量特征生成過程

CENTRIST(census transform histogram)是一種非參數(shù)描述圖像局部變化的方法，反映的是局部區(qū)域的灰度變化，并不是灰度值本身[10]。CENTRIST是針對場景分類提出的一種新型描述子，能很好地描述物體的輪廓，并成功地應(yīng)用于行人檢測中的計算過程[11]。

CENTRIST是比較 8個鄰域內(nèi)像素灰度值大小，如果中心點像素灰度值大于或者等于鄰域的灰度值，則當期鄰域點被置于布爾值 1，否則，則被置于為0，然后把8個鄰域內(nèi)的二進制按照一定的順序（本文采用從左至右，從上到下的順序）得到一個二進制流，然后將二進制位流轉(zhuǎn)換為十進制值[0，255]，這個值記為CT值，正如圖3所示，中心點“64”處的二進制位流為“11010110”，轉(zhuǎn)換十進制CT值為214，這個CT值代替中心點“64”。對圖像的所有像素取完CT值后，對整個圖像做直方圖統(tǒng)計，統(tǒng)計每個值出現(xiàn)的次數(shù)，所取的特征的維數(shù)是256維，由于計算一個像素的CT值是8次比較操作和8次對置位“0”或“1”的加法操作，CENTRIST的計算時間復(fù)雜度很低，如果用特殊的硬件(FPGA)進行操作，可能會進一步加快計算。CNETRIST計算簡單快速且對光照變化等不敏感。這也是它被用于行人檢測的重要原因之一。

圖3 Census變換過程示意圖

2 基于簡單多核學習的分類優(yōu)化

圖4 多核函數(shù)線性組合合成示意圖

目前，多核學習中常用多個核函數(shù)進行線性組合，雖然線性組合可能會導(dǎo)致信息的丟失，但是對多個核函數(shù)進行非線性的組合時就會有很高的空間復(fù)雜度和時間復(fù)雜度，根本不能達到時間應(yīng)用，所以當下大部分多核學習采用的是多核線性的組合，且相比開發(fā)新的核函數(shù)代價要小很多。圖4是多個核函數(shù)進行線性組合的流程示意圖。多核線性組合合成方法：直接求和核，加權(quán)求和核，加權(quán)多項式擴展核。同一核函數(shù)結(jié)合不同的特征表現(xiàn)出來的性能也大不一樣，核函數(shù)的選擇取決于對數(shù)據(jù)處理的要求，不同的特征結(jié)合不同的核函數(shù)效果差異很大，即核函數(shù)選取的問題，這個問題也是多核學習的關(guān)鍵之一。目前多核學習多采用加權(quán)求和核，如式(1)所示：其中，G是最終得到的核函數(shù)，是不同核函數(shù)對應(yīng)的核函數(shù)，而 M是參與組合的核函數(shù)個數(shù)，dm是各個核矩陣對應(yīng)的權(quán)重系數(shù)，又稱核組合系數(shù)。由于基本核矩陣都是由一些常用的核函數(shù)生成的，那么多核學習就轉(zhuǎn)化為求解權(quán)重系數(shù)的問題了。通過式(1)可知，線性組合是一個凸組合，凸組合優(yōu)化可以明顯的簡化多核學習問題。由于對多個核函數(shù)進行優(yōu)良的凸線性組合，所以多核學習多采用這種方式進行處理。候選的核矩陣一般是常用核函數(shù)映射后得來的，由于開發(fā)新的核函數(shù)代價較大，對一些常用的核函數(shù)究竟該選取哪些核函數(shù)進行組合才會取得很好的效果，致此核函數(shù)選取問題和怎樣去優(yōu)化核組合的權(quán)值系數(shù) dm就成為多核學習中最為關(guān)鍵的問題之一。

近些年很多學者針對優(yōu)化核組合系數(shù)這一問題進行了很多不同的嘗試，Lanckriet等在文獻[12]中通過半定規(guī)劃(semi definite programming, SDP)技術(shù)解決多核學習問題，SDP是一種凸優(yōu)化的方法，且有很強的泛化能力。用它可求解多個核矩陣的線性組合系數(shù)。Bach等[13]又提出了采用“序列最小優(yōu)化”(sequential minimal optimization, SMO)的算法，使得 MKL可用于處理中等規(guī)模問題。S?ren等[14]提出半無限線性規(guī)劃(semi infinite liner programming, SILP)，該算法利用SVM中成熟的線性規(guī)劃方法進行求解，能解決更多的復(fù)雜類型的問題，進一步提高了計算效率，適宜解決大規(guī)模MKL問題。Rakotomamonjy等[15]提出了采用“梯度下降”解決MKL問題，又稱單多核學習(Simple MKL)，實驗證明該算法收斂速度更快且效率高。所以本文采取該算法來計算權(quán)重系數(shù)，具體的算法流程如下，根據(jù)SVM的理論，Simple MKL的原始優(yōu)化問題變化如下：

采用Lagrangian法求解上述優(yōu)化問題，則得：

其中，αi和 βi是受約束的拉格朗日乘子，λ和ηm是權(quán)重系數(shù) dm的約束子。分別對求偏導(dǎo)，令其導(dǎo)數(shù)為零。由于持續(xù)約束這種雙重問題難以優(yōu)化，這種約束可能被移動到目標函數(shù)，然后，后者變成不可微的，引起了新的求解困難。而 Simple MKL采用梯度下降法解決這個優(yōu)化的難題。通過考慮下面的約束優(yōu)化問題：

將其轉(zhuǎn)化為對偶問題：

其中，α*是式(6)最大化時的值。因此，Simple MKL的整體復(fù)雜性綁在一個單核SVM算法上。 J (d)的下降梯度表示為 ▽redJ ，且有下式：

μ是矢量d的最大組成部分的指數(shù)，在下降方向考慮了這種積極性約束。因為最小化 J（d），-▽redJ是其下降方向。

通過不斷更新d直到滿足停止準則，例如Armijo規(guī)則，以保證全局收斂性，該算法被終止，并可求得權(quán)重系數(shù) dm，得到最終分類器：

3 實驗結(jié)果與分析

為驗證多核學習算法的有效性，可在 TUD數(shù)據(jù)集進行一系列的實驗，從算法的實時性和魯邦性兩方面與經(jīng)典的 HOG/SVM[1]算法和 Multi-scale HOG/HIKSVM[5]的行人檢測方法進行比較，同時還特征融合/HIKSVM[16]的行人檢測方法比較。為方便比較。由于核函數(shù)是決定多核學習效果的主要因素，本文選用行人檢測中常用的幾個核函數(shù)，如表1所示。

算法的程序在Visual C++和Matlab2010b下聯(lián)合開發(fā)，性能測試實驗在 CPU3.10 GHz, 64位Windows 7系統(tǒng)，4 G內(nèi)存的計算機上運行，Simple MKL算法采用 SHOGUN Machine Learning Toolbox。不同的特征對應(yīng)不同的核函數(shù)會產(chǎn)生效果，為了尋找最優(yōu)的結(jié)果，把以上的3個特征分別在這3種核函數(shù)下進行實驗對比。

從圖5中可以看出，多層次導(dǎo)向邊緣能量特征和 HIKSVM 效果最好，而積分通道特征和CENTRIST特征分別對應(yīng)高斯核和多項式核函數(shù)時效果較為理想，且再次證實了 HIKSVM對直方圖類的特征的分類的效果較好。

為驗證本文的多核學習模型的權(quán)重系數(shù)有效性，通過隨機取 10組權(quán)重系數(shù)數(shù)據(jù)與本文的權(quán)重系數(shù)進行對比，結(jié)果如表2所示。通過表2可知，本文所采用的權(quán)重系數(shù)值比隨機抽取的 10組權(quán)重系數(shù)值的魯棒性都較高?？梢娨环N好的確定權(quán)重系數(shù)方法對算法的性能有很大的影響，這也是后期工作的關(guān)鍵點之一。

表1 常用的核函數(shù)

圖5 3種特征在不同核函數(shù)上的ROC曲線對比

表2 權(quán)重系數(shù)對比實驗

圖6為本算法在TUD數(shù)據(jù)集上的實驗結(jié)果，該算法的檢測精度有了大幅提高。在虛警率為1×10-4時，同HOG/SVM方法相比，檢測高出9%；與特征融合/HIKSVM相比高出2%；與Multi-scale HOG/HIKSVM方法相比高出4%。從實驗的結(jié)果來看，多核學習是分類器的融合，相比特征融合而言，在魯棒性上有所提升，由于多核學習的復(fù)雜度較高，檢測一幅720× 576的圖片時間要10 s左右，實時性較差。后續(xù)將進一步研究如何提升系統(tǒng)魯棒性的同時加強算法的實時性。最終行人檢測結(jié)果部分示例的圖像如圖7所示，實驗證明了檢測識別率有一定提高。

圖6 本文方法與其他方法ROC曲線對比

圖7 本文方法在TUD檢測結(jié)果

4 總 結(jié)

本文提出一種多特征和多核學習方法運用到行人檢測來提高算法的魯棒性，詳細給出了 3種積分通道特征、多層次導(dǎo)向邊緣能量特征、CENTRIST特征的生成方法，針對不同的特征選擇不同的核函數(shù)，采用Simple MKL方法解決了分類器參數(shù)優(yōu)化問題，實驗表明多層次導(dǎo)向邊緣能量特征結(jié)合 HIKSVM 時的效果要好于其他核函數(shù)，同理，積分通道特征和CENTRIST特征分別對應(yīng)高斯核和多項式核函數(shù)時效果較為理想。實驗證明，所提方法分別與經(jīng)典 HOG/SVM方法、Multi-scale HOG/HIKSVM、多特征融合的方法對比，在行人檢測魯棒性上有明顯提高，后期的工作重點將進一步研究快速參數(shù)優(yōu)化方法增強算法實時性能。

[1] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//2005 IEEE Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 886-893.

[2] Ouyang Wanli, Wang Xiaogang. A discriminative deep model for pedestrian detection with occlusion handling [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012: 3258-3265.

[3] Yan Junjie, Zhen Lei, Dong Yi, Li Z S. Multi-pedestrian detection in crowded scenes: a global view [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012: 3124-3129.

[4] Walk S, Majer N, Schindler K, Schiele B. New features and insights for pedestrian detection [C]//2010 IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 1030-1037.

[5] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 66-77.

[6] 朱文佳, 戚飛虎. 基于Gentle Adaboost的行人檢測[J].中國圖象圖形學報, 2007, 12(10): 1905-1908.

[7] 種衍文, 匡湖林, 李清泉. 一種基于多特征和機器學習的分級行人檢測方法[J]. 自動化學報, 2012, 38(3): 375-381.

[8] Dollár P, Tu Zhouwen, Perona P, Belongie S. Integral channel features [C]//2009 British Machine Vision Conference, London, UK, 2009: 1-11.

[9] Lazebnik S, Schmid C, Ponce J. Beyond bags of features: spatial pyramid matching for recognizing natural scene categories [C]//2006 IEEE Conference on Computer Vision and Pattern Recognition, 2006: 2169-2178.

[10] Wu Jianxin, Rehg J M. CENTRIST: a visual descriptor for scene categorization [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1489-1501.

[11] Wu Jianxin, Geyer C, Rehg J M. Real-time human detection using contour cues [C]//2011 IEEE International Conference on Robotics and Automation (ICRA), 2011: 860-867.

[12] Lanckriet G, Cristianini N, Bartlett P, Ghaoui L EI, Jordan M I. Learning the kernel matrix with semi-definite programming [J]. The Journal of Machine Learning Research, 2004, (5): 27-72.

[13] Bach F R, Lanckriet G R G, Jordan M I. Multiple kernel learning, conic duality, and the SMO algorithm [C]// ACM Proceedings of the Twenty-first International Conference on Machine Learning, Banff, Canada, 2004: 6.

[14] S?ren S, R?tsch G, Sch?fer C, Sch?lkopf B. Large scale multiple kernel learning [J]. The Journal of Machine Learning Research, 2006, (7): 1531-1565.

[15] Rakotomamonjy A, Bach F, Canu S, Grandvalet Y. Simple MKL [J]. Journal of Machine Learning Research, 2008, 9(11): 2491-2521.

[16] 孫 銳, 侯能干, 陳 軍. 基于特征融合和交叉核SVM的快速行人檢測方法[J]. 光電工程, 2014, 41(2): 53-60.

Pedestrian Detection Based on Multi Feature and Multi Kernel Learning

Sun Rui1,2, Hou Nenggan1, Chen Xiaohua2
(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Academy of Science and Advanced Technology, Chery Automobile Co., Wuhu Anhui 241009, China)

Pedestrian detection system is involved in the traffic safety problem, and it requires very high robustness. The effect of the method based on single feature combined with single kernel support vector machine is limited. To solve this problem, this paper uses multi feature and multi kernel learning method to improve the robustness of the system. Integral channel features, multi-level oriented edge energy feature and CENTRIST features are respectively combined with histogram intersection kernel, gauss kernel and polynomial kernel. Simple multi-kernel learning (Simple MKL) is adopted to calculate the weight coefficients of kernel function. Multi-kernel learning pedestrian detection method is compared with histograms of oriented gradient feature/support vector machine, Multi-scale histograms of oriented gradient feature/histogram intersection kernel support vector machine and feature fusion/histogram intersection kernel support vector machine pedestrian detection methods. The experiments show that the robustness of pedestrian detection algorithm has obvious improvement.

simple multi-kernel learning; histogram intersection kernel support vector machine;CENTRIST feature; integral channel features; multi-level oriented edge energy feature

TP 391

A

2095-302X(2014)06-0869-07

2014-04-02；定稿日期：2014-07-16

國家自然科學基金面上資助項目(61471154)；中國博士后基金資助項目(2013M531504)；教育部留學回國人員啟動基金資助項目

孫 銳(1976-)，男，安徽蚌埠人，副教授，博士。主要研究方向為圖像信息處理、多媒體安全、計算機視覺與模式識別。E-mail：sunrui@hfut.edu.cn