基于多線激光雷達與視覺信息的實時行人檢測?

陸怡悅 蔡云飛 石庭敏

（南京理工大學計算機科學與技術學院 南京 210094）

基于多線激光雷達與視覺信息的實時行人檢測?

陸怡悅 蔡云飛 石庭敏

（南京理工大學計算機科學與技術學院 南京 210094）

行人是無人自主車輛的重要感知內(nèi)容。針對傳統(tǒng)行人檢測方法中檢測速度慢的情況，提出了一種融合多線激光雷達和視覺信息的實時行人檢測方法。該方法通過對激光雷達和攝像頭的聯(lián)合標定，將雷達的坐標映射到圖像坐標中。根據(jù)雷達的柵格地圖檢測凸障礙，由此獲得圖像中的感興趣區(qū)域。最后利用梯度方向直方圖（HOG）和支持向量機（SVM）對感興趣區(qū)域進行行人檢測。實驗驗證了該方法顯著地提高了檢測速度和準確度，并彌補了單一傳感器在行人檢測中的不足。該方法在車輛以30km/h左右的速度行駛，環(huán)境背景不斷變換的情況下都能很好地實現(xiàn)，具有實際應用價值。

聯(lián)合標定；感興趣區(qū)域；梯度方向直方圖；行人檢測

1 引言

行人檢測在智能輔助駕駛、智能監(jiān)控、行人分析以及智能機器人等領域具有極其廣泛的應用。從2005年Dalal等［1］提出HOG結(jié)合SVM以來，行人檢測進入了一個快速發(fā)展的階段，但是也存在著很多問題還有待解決，其中最主要的方面是如何權(quán)衡性能和速度的關系。近年來，有許多基于單目攝像頭的行人檢測方法被提出［2～4］。大致可以分為兩類：一是基于背景建模，利用背景建模的方法，提取出前景運動的背景，在目標區(qū)域內(nèi)進行特征提取，然后利用分類器進行分類，判斷是否包含行人。其中最常應用的是單高斯模型和混合高斯模型，Suo［5］等提出了一種基于高斯混合模型的改進的自適應背景建模算法，當對象移動緩慢或者停止時要及時減少算法中使用的模型數(shù)量。ViBe［6］算法用一幀圖像就可以初始化背景模型，該方法計算量比較小，速度很快，可以嵌入到相機中，可以抗攝像頭抖動，并且對噪聲也有一定的魯棒性。PBAS［7］算法引入控制論的思想，使前景判斷閾值和背景模型更新率隨背景的復雜程度自適應變化，還引入背景復雜程度的度量方法，根據(jù)背景復雜程度調(diào)整前景判斷閾值和背景模型更新率。二是基于統(tǒng)計學習的方法：根據(jù)大量的樣本構(gòu)建行人檢測分類器。提取的特征可以包括目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經(jīng)網(wǎng)絡、SVM、adaboost以及深度學習。2005年DALAL等［1］提出基于梯度方向直方圖（HOG）描述子的人體檢測模型，并采用支持向量機（SVM）作為分類器。該算法可有效地進行行人檢測，但是檢測速度較慢。Xu［8］等提出了一個基于HOG和邊緣因素的實時行人檢測方法。這種方法中，首先使用邊緣因素進行粗檢測，過濾掉一些背景，再使用HOG結(jié)合線性SVM進行精確檢測。Zhang［9］等貢獻了一個形狀模型，將人體分為三個不同的組件，使用Haar特征來描述人體的差異。Tuzel等［10］利用協(xié)方差矩陣作為對象描述符，將其表示為黎曼流形進行行人分類。Wang等［11］采用HOG和LBP結(jié)合的直方圖，提出了能夠處理一部分遮擋的新的人體檢測方法，獲得了較高的檢測性能。

由于基于攝像頭的行人檢測算法受到信息量少、算法復雜度較高的制約，常常導致實時性不高或魯棒性太差等問題。本文采用基于激光雷達［12］和攝像頭信息融合［13］的行人檢測方法。首先，采用張正友［14］標定法對攝像頭進行內(nèi)參標定，算法利用了雷達柵格地圖［15］獲取正障礙的位置信息對圖像提取感興趣區(qū)域（region of interest），對其進行預處理，剔除不可能是行人的區(qū)域，然后進行透視變換將感興趣區(qū)域映射到圖像中的像素信息，提取HOG描述子，再用SVM進行分類判斷。其中，本文采用MIT行人數(shù)據(jù)庫作為正例樣本，采用實驗中的真實場景作為負例樣本，并且重新檢測了負例樣本，將負例樣本中得到的誤檢目標作為難例樣本重新訓練SVM。

2 基于激光雷達和攝像頭的信息融合

本文采用32線激光雷達和單目攝像頭作為傳感器。雷達和攝像頭安裝位置如圖1所示，雷達豎直安裝于車前，攝像頭固定于雷達正下方。

圖1 實驗車示意圖

2.1 攝像頭標定

攝像頭的原理是小孔成像，把世界坐標表示為PW=[X，Y，Z]T，圖像坐標表示為 Pl=[U，V]T，則世界坐標與圖像坐標之間的轉(zhuǎn)換關系表示為

其中K就是攝像頭的內(nèi)參矩陣，R是一個3×3的旋轉(zhuǎn)矩陣，t是一個3維的平移向量。根據(jù)張定友棋盤格標定法，采用10×10的棋盤格，每一小格的尺寸為100mm×100mm，首先采集不同位置的標準棋盤圖像，然后利用Matlab工具箱標定程序?qū)ζ灞P圖像進行角點提取，根據(jù)棋盤實際尺寸和位置關系得到攝像頭的內(nèi)參和外參。

2.2 32線激光雷達的位置關系

32線激光雷達在車前豎直安裝，表1給出了雷達的一些重要參數(shù)。

表1 32線激光雷達重要參數(shù)

以雷達位置為原點的測距示意圖如圖2所示。

圖2 雷達測距示意圖

XOY平面平行于地面，Y平行于車身方向向前，X垂直于車身方向，O為原點，是雷達的中心點，點A是雷達掃描點。根據(jù)右手螺旋定則，Z軸垂直于地平面向上。φ是豎直偏轉(zhuǎn)角，θ是水平偏轉(zhuǎn)角。D是雷達中心到物體的實際距離。所以將雷達的實際三維數(shù)據(jù)轉(zhuǎn)換到平面為

雷達掃描模型如下圖所示。

圖3 雷達掃描縱向放射水平示意圖

任意第i根線在水平面的距離投影為

其中α為第一根掃描線與豎直方向的夾角，h為雷達中心點到地面的安裝高度。由此可以得到32根線之間的相互位置關系。

2.3 激光雷達和攝像頭的聯(lián)合標定

以車體坐標作為世界坐標，車頭方向為Y軸正方向，順時針90°為X軸正方向，右手X-Y螺旋，大拇指方向為Z軸正方向。假設任意t時刻，雷達掃描面與車體坐標系XOY平面的夾角為φ，其中某一根掃描線與Y軸正方向之間的夾角為θ，h為雷達安裝高度，d為雷達測量距離，任一掃描點可描述為P(d ，φ，θ)。在水平安裝方式下，三維坐標表示為P(x ，y，z)。其坐標轉(zhuǎn)換公式為

根據(jù)采集的標定板的圖像數(shù)據(jù)和投射在標定板上的雷達數(shù)據(jù)，得到了融合后的圖像。

3 基于柵格地圖的感興趣區(qū)域提取

通過雷達掃描車體前方區(qū)域，可以感知車體前方障礙物的分布情況，然后通過檢測掃描點可以大致提取障礙物的輪廓。根據(jù)輪廓的幾何特征可以初步過濾掉一些明顯不符合行人特征的障礙物，得到行人感興趣區(qū)域（ROI），將雷達數(shù)據(jù)中的ROI投影到圖像中，為下一步圖像處理作準備。

3.1 構(gòu)建柵格地圖

由于多線雷達點云的數(shù)據(jù)量比較大，構(gòu)建柵格地圖將簡化雷達數(shù)據(jù)處理。將雷達數(shù)據(jù)映射到柵格地圖上，通過柵格地圖就可以了解障礙物的分布情況。將激光雷達的三維數(shù)據(jù)點經(jīng)坐標變換映射到柵格地圖。柵格地圖大小為M*N，單個柵格寬度為w，則轉(zhuǎn)換公式如下

式中，（x，y）為雷達數(shù)據(jù)的原始世界坐標，（ xg，yg）為柵格在世界坐標系中的坐標，（Px，Py）為平移量，增加該平移量的目的是使柵格的坐標（xg，yg）都為正值。

圖4 雷達柵格地圖及其實景圖

通過將三維點云數(shù)據(jù)映射到柵格地圖上，就可用一個柵格來表示該格子內(nèi)的所有點，通過柵格地圖就可以觀察障礙物的分布情況，從而大大降低了數(shù)據(jù)量。

3.2 獲取感興趣區(qū)域

為了獲取感興趣區(qū)域（ROI），需要將檢測到的輪廓用矩形表示出來，這實際上就是尋找一個凸包的過程。簡單來說，給定二維平面上的點集，凸包就是將最外層的點連接起來構(gòu)成凸多變形，它是能包含點集中的所有點的。選取點集中最小的x和最小的y作為左上角坐標，選取點集中最大的x和最大的y作為右下角坐標，這樣我們就得到包含行人所有點集的矩形邊界，將這些矩形邊界投影到原圖上，就得到了感興趣區(qū)域。

圖5 雷達感興趣區(qū)域及其實景圖

圖5 顯示獲得雷達數(shù)據(jù)的大致感興趣區(qū)域有一輛車和兩個行人區(qū)域，再將其映射到圖像上，為下面判斷是否是行人做準備。

4 基于圖像的HOG—SVM行人檢測

在視頻行人目標檢測中，光線對于圖像分析有很重要的影響，過度強烈的光線可能會造成圖像曝光，而較暗的光線又會造成行人與背景的難以分割。由于雷達掃描具有較好的穩(wěn)定性，此方法大大降低了漏檢率，從而提高了行人檢測的準確度。

4.1 HOG描述子

方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度直方圖來構(gòu)成特征。主要思想是：在一幅圖像中，局部目標的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。

HOG特征提取方法就是將先前得到的感興趣區(qū)域：

1）灰度化（將感興趣區(qū)域看做一個x，y，z（灰度）的三維圖像）。

2）采用Gamma校正法對輸入?yún)^(qū)域進行顏色空間的標準化（歸一化），目的是調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪音的干擾。

3）計算感興趣區(qū)域圖像的每個像素的梯度（包括大小和方向），主要是為了捕獲輪廓信息，同時進一步弱化光照的干擾。

4）將區(qū)域圖像劃分成小cells（這里采用8×8像素/cell）。

5）統(tǒng)計每個cell的梯度直方圖（不同梯度的個數(shù)），即可形成每個cell的描述子（descriptor）。

6）將每幾個cell組成一個block（這里采用2×2個cells/block），一個block內(nèi)所有cell的特征描述子串聯(lián)起來便得到該bolck的HOG特征描述子。

7）將感興趣區(qū)域內(nèi)的所有bolck的HOG描述子串聯(lián)起來就可以得到該區(qū)域的HOG特征描述子，這個就是最終的可供分類使用的特征向量。

4.2 支持向量機（SVM）分類器

支持向量機是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即采用核函數(shù)將原始空間中的數(shù)據(jù)映射到一個更高維的特征空間，使得數(shù)據(jù)在這個特征空間內(nèi)線性可分。

一個線性分類器的學習目標就是要在n維的數(shù)據(jù)空間中找到一個分類超平面，其方程可以表示為

數(shù)據(jù)點用x來表示，這是一個n維向量，ωT中的T代表轉(zhuǎn)置，而類別用y來表示，可以取1或者-1，分別代表兩個不同的類。

定義假設函數(shù)：

這里將g（z）做一個簡化，將其簡單映射到y(tǒng)=-1和y=1上。映射關系如下

ω是法向量，決定了超平面的方向，b是位移項，決定了超平面與原點之間的距離。劃分超平面可被法向量ω和位移b確定，將其記為（ω，b）。樣本空間中任一點x到超平面（ω，b）的距離可寫為

想要找到具有最大間隔的劃分超平面，也就是要找到ω和b使得r最大。為了最大化‖‖ω-1，等價于最小化‖‖ω2。因此可以得到SVM的基本型：

常用的核函數(shù)有以下幾種。

線性核：

多項式核：

高斯核：

拉普拉斯核：

Sigmoid核：

本文選用線性核函數(shù)，因為線性核函數(shù)是在原空間中選擇最優(yōu)分類面，而其他核函數(shù)是將數(shù)據(jù)映射到高維空間去選擇最優(yōu)分類面，因此線性核函數(shù)在速度上要比其他核函數(shù)快很多，更能滿足實時性的要求。

4.3 HOG-SVM行人檢測

實驗采集的視頻圖像的每一幀像素大小為640×480，經(jīng)過雷達初步檢測后，確定障礙物的基本位置，再將其通過坐標映射后得到圖像上的感興趣區(qū)域，將此感興趣區(qū)域作為待檢測區(qū)域。由于待檢測區(qū)域大小不同，所以要用到多尺度檢測。按照步長為8個像素遍歷整幅圖像，具體檢測步驟如下：

1）將每一幀圖像上的感興趣區(qū)域存為待檢測區(qū)域列表。

2）按照大小為8×8個像素窗口遍歷待檢測區(qū)域，計算得到掃描區(qū)域內(nèi)所有塊的HOG特征向量并存入一個二維數(shù)組中。

3）以大小為32×32個像素，水平和垂直方向的步長都為8個像素的檢測窗口遍歷感興趣區(qū)域，對二維數(shù)組中的HOG特征向量進行正確的索引，得到該窗口內(nèi)對應塊的HOG特征向量。

4）加載訓練得到的SVM分類器，在每一個塊中進行循環(huán)，特征向量經(jīng)歸一化以后，與算子中的對應數(shù)進行比較運算，判斷所有塊中的運算總和是否小于設定的閾值，若小于，則認為檢測到目標。

5）優(yōu)化目標：雷達初步定位時，為了減小坐標映射后的誤差，將感興趣區(qū)域適量放大，所以圖像經(jīng)過檢測后，會產(chǎn)生在某個對象上的框范圍過大的情況。為了使檢測結(jié)果更加精確，就需要對這些結(jié)果進行優(yōu)化。目前經(jīng)常使用的優(yōu)化策略是根據(jù)人體與檢測窗口的位置關系進行窗口優(yōu)化。對檢測結(jié)果進行優(yōu)化的實質(zhì)就是將目標更精確地定位于某個窗口中。計算公式如下：

圖像坐標以左上角為原點，調(diào)整左上角頂點的x和y，使其更靠近行人，再調(diào)整矩形框的寬度和高度，使矩形框縮小一點，根據(jù)多次實驗調(diào)整優(yōu)化參數(shù)，以上參數(shù)能得到較好的結(jié)果。

圖6 窗口優(yōu)化

5 實驗及分析

為了驗證算法的檢測性能以及運行效果的實時性，該算法運行在一個改裝的實驗平臺GOLF車。如上面圖1所示。此目標檢測模塊是無人車自主導航整體架構(gòu)中的一個模塊。

本文所采用的VelodyneHDL-32E激光雷達，以及CCD攝像頭。在VS2010環(huán)境下，用C++實現(xiàn)，界面設計采用MFC。采用MIT行人庫中的正樣本共924張，負樣本則采用無人車的真實實驗環(huán)境，通過截取學校場景而構(gòu)成，確保不含有行人，一共2000張負樣本。背景包括教學樓、樹木、地面等實際場景，清晰度較高，適應性更強。

圖7 分布式模塊化處理架構(gòu)

圖8 測試樣本集

測試場景選擇在學校的道路上，有樹木、建筑物和車輛等復雜背景。無人車的車速在30km/h左右。

以下是行人檢測的實驗結(jié)果圖。

圖9 行人檢測結(jié)果圖及雷達檢測圖

場景選取了學校內(nèi)的不同地方，雷達檢測圖中由箭頭手動標出行人，圖9（a）的背景大部分為樹木，雷達點的數(shù)據(jù)比較分散，檢測的是行人的背面。圖9（b）的背景為玻璃墻，行人有背面有側(cè)面。圖9（c）兩邊是綠化道，光線比較強烈。圖9（d）中行人比較遠，且行人與背景的樹木有重疊。圖9（e）和（f）都是正常道路上的行人檢測，其中（e）的光線比較暗。圖9（g）行人有一部分遮擋，依然可以檢測出來，而圖9（h）在相似的實驗場景下，兩個行人有了較大部分的重疊，只檢測出一個人。從實驗圖可以看出，這種方法對于不同的場景和不同光線都有很好的檢測效果，其主要原因是激光雷達對障礙物的檢測不受光線的影響。實驗表明，算法有很高的準確度和實時性。

本文提出的方法相比于Dalal［1］的方法具有優(yōu)勢，實驗運行在i3雙核處理器下，2G內(nèi)存，HOG算法的每一幀的檢測時間平均在3000ms左右，而本文方法在80ms左右，時間上有了很大的提高，圖像幀率為10FPS，達到了實時的要求，可應用于實際項目。在識別率方面，比HOG提高了2.1%。還有其他一些同樣先定位感興趣區(qū)域再進行行人檢測的方法，如通過邊緣進行粗定位和通過運動偵測進行定位，實驗結(jié)果表明，本文方法在識別率上稍有提高，但在檢測時間上有很大優(yōu)勢，具有實際應用價值。

表2 四種不同算法的比較

6 結(jié)語

本文提出了一種新的基于激光雷達和視覺信息融合的行人檢測方法。該方法主要由硬件架構(gòu)以及檢測算法兩部分組成。在檢測算法中，利用雷達對凸障礙物的掃描，得到感興趣區(qū)域，從而大大減少了HOG算子的提取范圍，加快了檢測速度。在無人車上的實驗表明，該方法具有很好的實時性及可靠性。

［1］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR'05）.IEEE，2005，1：886-893.

［2］Costea A D，Vesa A V，Nedevschi S.Fast Pedestrian Detection for Mobile Devices［C］//2015 IEEE 18th International Conference on Intelligent Transportation Systems.IEEE，2015：2364-2369.

［3］Cai Z，Saberian M，Vasconcelos N.Learning complexity-aware cascades for deep pedestrian detection［C］//Proceedings of the IEEE International Conference on Comput-er Vision.2015：3361-3369.

［4］Angelova A，Krizhevsky A，Vanhoucke V，et al.Real-time pedestrian detection with deep network cascades［C］//British Machine Vision Conference，2015.

［5］Suo P，Wang Y.An improved adaptive background modeling algorithm based on Gaussian Mixture Model［C］//2008 9th International Conference on Signal Processing.IEEE，2008：1436-1439.

［6］Barnich O，Van Droogenbroeck M.ViBe：A universal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20（6）：1709-1724.

［7］Hofmann M，Tiefenbacher P，Rigoll G.Background segmentation with feedback：The pixel-based adaptive segmenter［C］//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.IEEE，2012：38-43.

［8］Xu G，Wu X，Liu L，et al.Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient［C］//Information and Automation（ICIA），2011 IEEE International Conference on.IEEE，2011：384-389.

［9］Zhang S，Bauckhage C，Cremers A B.Informed haar-like features improve pedestrian detection［C］//Proceedings of the IEEE conference on computer vision and pattern recognition，2014：947-954.

［10］Tuzel O，Porikli F，Meer P.Pedestrian detection via classification on riemannian manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（10）：1713-1727.

［11］Wang X，Han T X，Yan S.An HOG-LBP human detector with partial occlusion handling［C］//2009 IEEE 12th International Conference on Computer Vision.IEEE，2009：32-39.

［12］Kwon S K，Hyun E，Lee J H，et al.A Low-Complexity Scheme for Partially Occluded Pedestrian Detection Using LIDAR-RADAR Sensor Fusion［C］//Embedded and Real-Time Computing Systems and Applications（RTCSA），2016 IEEE 22nd International Conference on.IEEE，2016：104-104.

［13］Premebida C，Ludwig O，Nunes U.LIDAR and vision-based pedestrian detection system［J］.Journal of Field Robotics，2009，26（9）：696-711.

［14］Zhang Z.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［15］Chen M，Pei Y，F(xiàn)ang D.Computational method for radar absorbing composite lattice grids［J］.Computational Materials Science，2009，46（3）：591-594.

Real-time Pedestrian Detection Based on Integration of Multi-line Radar and Visual Information

LU Yiyue CAI YunfeiSHI Tingmin
（Department of Computer Science and Technology，Nanjing University of Science and Technology，Nanjing 210094）

Pedestrians are the important aware contents of the unmanned autonomous vehicles.Since the slow detection speed of the traditional pedestrian detection methods，a real-time pedestrian detection method based on integration of multi-line laser radar and visual information is proposed.Firstly，combine laser radar with the camera by calibration，then map the radar coordinates to the image coordinates.Secondly，according to the raster map of radar，projections obstacles are detected，thereby obtaining the region of interest of an image.Finally，the gradient direction histogram（HOG）and support vector machine（SVM）are used to detect pedestrians of the regions of interest.Experimental verification of the method significantly improves the detection speed and accuracy and makes up for the lack of a single sensor in Pedestrian Detection.This method can be well implemented in the vehicle at a speed of 30km/h or so of driving.At the same time，environmental background constantly changes.thus this method has practical value.

combined calibration，ROI，HOG，pedestrian detection

TN95

10.3969/j.issn.1672-9722.2017.11.037

Class Number TN95

2017年5月8日，

2017年6月26日

國家自然基金青年項目（編號：61305134）；博士點基金（編號：20133219120035）；核高基重大專項（編號：2015zx01041101）資助。

陸怡悅，女，碩士，研究方向：圖像處理。蔡云飛，男，博士，講師，研究方向：環(huán)境感知。石庭敏，男，碩士，研究方向：環(huán)境感知。