基于OpenCV和SVM的公共場所行人檢測系統(tǒng)

楊波 吳宗蔚 朱劍林 李航高

（中南民族大學(xué)計算機(jī)科學(xué)學(xué)院 湖北省武漢市 430074）

1 引言

隨著經(jīng)濟(jì)的快速發(fā)展，城鎮(zhèn)人口的增長，公共場合行人安全的管理和監(jiān)測如果只靠人力監(jiān)控將會越來越難，成本越來越高。所以為了應(yīng)對這種狀況，行人檢測技術(shù)應(yīng)運而生[1]。行人檢測技術(shù)，是應(yīng)用計算機(jī)視覺技術(shù)以及圖像處理的方法，對圖像或視頻中的行人進(jìn)行識別和定位。

近年行人識別、辨別、檢測的算法和技術(shù)層出不窮，其中有由Redmon等人研究發(fā)表的YOLOv3[2]算法可以用于行人識別，這個算法用于行人檢測的優(yōu)點是計算速度快，缺點是對圖像中的大物體識別效果差[3]。Papgeorgious等人使用小波特征結(jié)合SVM進(jìn)行行人檢測[4]，這個技術(shù)的優(yōu)點是可以應(yīng)對較為復(fù)雜的情景，缺點是不擅長描述行人形狀。

本文采用HOG算法提取特征后用SVM處理數(shù)據(jù)得到檢測行人模型，這個模型在樣本少的情況下進(jìn)行學(xué)習(xí)訓(xùn)練檢測的效果比較準(zhǔn)確且實現(xiàn)比較簡單，在很短的訓(xùn)練周期中就可以得到較好的實現(xiàn)效果。

2 數(shù)據(jù)源與數(shù)據(jù)處理

進(jìn)行行人檢測的模型訓(xùn)練，需要收集正樣本和負(fù)樣本。其中正樣本指的是含有檢測目標(biāo)的圖片，也就是含有行人的圖像文件；另一種負(fù)樣本是不含檢測目標(biāo)的圖片也就是不含行人的圖像文件，本文中的訓(xùn)練樣本取自INRIA靜態(tài)圖行人檢測數(shù)據(jù)庫。訓(xùn)練樣本占總樣本70%，測試樣本占總樣本的30%。訓(xùn)練使用的兩類樣本部分如圖1和圖2所示。

圖1：訓(xùn)練用正樣本示例

圖2：訓(xùn)練用負(fù)樣本示例

拍攝的圖像因為環(huán)境不同導(dǎo)致圖像的光線強(qiáng)度不同，為了減少這種影響需要對圖像進(jìn)行處理。另外因為圖像的存儲方式導(dǎo)致圖像大小不一，還需要對每一張圖像大小進(jìn)行標(biāo)準(zhǔn)化處理。 本文采用OpenCV對輸入的圖像進(jìn)行上述流程中的標(biāo)準(zhǔn)化處理，以下即是圖像標(biāo)準(zhǔn)化需要進(jìn)行的工作。

2.1 正樣本的預(yù)處理

由于需要提取的是行人的HOG特征，也就是人的形狀，所以需要的是含行人軀體部分的照片數(shù)據(jù)，則需要把一張正樣本圖片中不含行人的部分剪切掉，盡可能的只保留行人部分，為便于使用OpenCV的HOG算法進(jìn)行HOG特征的提取，圖片統(tǒng)一尺寸為64*128。為了保證圖片不被壓縮變形，沒有使用cv2.resize(img,(64,128))方法，而是采用手動剪切的方法處理圖片。

INRIA庫中Train文件夾下有614張正樣本圖片，一共可以剪切成2416張單個行人的圖片，圖片分辨率為96*160，通過裁剪算法把圖片剪切成64*128大小的圖片即可。裁剪正樣本的方法為：把讀取到的96*128的圖片放入到pos_list中構(gòu)建一個pos_train列表保存剪切后的圖片。剪切的原理為循環(huán)遍歷pos_list中每一張圖片，因為圖片的人體部分大概距離上下左右的邊界都是16像素，所以取的數(shù)據(jù)就是第二維度是16到16+128的數(shù)據(jù)，第一維度是16到16+64的數(shù)據(jù)。這樣的照片尺寸就可轉(zhuǎn)換為64*128大小，且保證了人體的部分在圖片中央。這樣通過剪切就可以得到比較理想的正樣本集，如圖3所示。

圖3：剪切正樣本圖示

2.2 負(fù)樣本的預(yù)處理

因為負(fù)樣本中不含行人，所以只需要進(jìn)行尺寸大小的統(tǒng)一就可，也就是意味著直接把負(fù)樣本的原始圖片轉(zhuǎn)換為64*128大小的圖片即可。和正樣本圖片統(tǒng)一大小的方法一樣，處理負(fù)樣本也有兩種方法：一是使用cv2.resize函數(shù)暴力地把原圖壓縮為64*128尺寸的圖片；二就是使用剪切的方法把原圖剪切為64*128尺寸的圖片。

負(fù)樣本使用cv2.resize方法進(jìn)行處理的主要缺點是扭曲比例，且一張原圖只能得到一張64*128尺寸的圖片，不便于后面進(jìn)行模型自舉操作。所謂的模型自舉就是用預(yù)處理后的正樣本加上預(yù)處理后的負(fù)樣本得到的樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練，得到第一次訓(xùn)練的模型；然后使用這個初始模型對沒有處理前的原始負(fù)樣本照片進(jìn)行識別，把能識別出框的照片保存（錯誤識別），因為最終是要把圖片中的行人框出，然而在負(fù)樣本中沒有行人所以當(dāng)進(jìn)行識別時有框出現(xiàn)代表是識別錯誤，即是假正。這樣的情況不是想要的，所以要避免這種情況的發(fā)生就需要對識別錯誤的原始負(fù)樣本進(jìn)行保存，進(jìn)行HOG特征提取，把提取到的特征加入到上一次得到的總特征中再一次進(jìn)行SVM模型訓(xùn)練。這個過程就是模型自舉操作，所以如果只是單純地使用cv2.resize函數(shù)對原始負(fù)樣本進(jìn)行尺寸的壓縮，然而這些樣本還是原圖，之后再用初始模型識別原始負(fù)樣本就沒有意義，達(dá)不到提高模型性能的作用。

因此，用剪切的方法對原始的負(fù)樣本圖片進(jìn)行剪切的效果更佳。構(gòu)建的負(fù)樣本處理方法為：首先獲取原始的負(fù)樣本照片（大小尺寸不一，需保證尺寸大于64*128），再獲取隨機(jī)種子，便于后面對一張負(fù)樣本圖片進(jìn)行隨機(jī)剪切。對已經(jīng)得到的負(fù)樣本list進(jìn)行遍歷，list中的數(shù)據(jù)為numpy數(shù)組形式，隨機(jī)獲取左上坐標(biāo)（x，y），這個左上坐標(biāo)的值為要剪切的圖片左上坐標(biāo)。左上坐標(biāo)獲取的原理需要保證即使最大的一個左上坐標(biāo)也能獲取到一張64*128的圖片，也就是使用圖片長度減去64得到最大的x坐標(biāo)值，使用圖片寬度減去128得到圖片的y坐標(biāo)值。

最終最大的隨機(jī)左上坐標(biāo)是用原圖的右下坐標(biāo)分別減去長度、寬度得到的。由此可得，只要隨機(jī)的x，y值不大于這個最大的坐標(biāo)（x, y）就不會導(dǎo)致獲取不到64*128的圖片。所以使用random.random()*max(x)這樣形成隨機(jī)數(shù)的范圍就是0～max(x)，得到了要剪切圖片的左上坐標(biāo)x值的范圍；以此類推，左上坐標(biāo)y值就是random.random()*max(y)的隨機(jī)數(shù)范圍為0～max(y)，得到了隨機(jī)的左上坐標(biāo)。因為決定一張圖片的數(shù)據(jù)內(nèi)容是根據(jù)左上坐標(biāo)和右下坐標(biāo)來獲取的，所以之后只需要進(jìn)行切片操作，就可獲取剪切后的圖片，如圖4所示。

圖4：剪切處理后的負(fù)樣本示例

3 行人檢測模型設(shè)計

3.1 模型設(shè)計概述

本文的行人檢測模型對處理后的樣本數(shù)據(jù)，使用HOG算法提取出相應(yīng)的特性特征，把這些特征數(shù)據(jù)使用SVM算法進(jìn)行第一次學(xué)習(xí)訓(xùn)練，得到第一次模型，使用這個模型對原始樣本進(jìn)行識別，再把錯誤識別的樣本再次進(jìn)行訓(xùn)練（模型自舉），經(jīng)過多次模型自舉后可以得到一個精確率高的模型。最后使用這個模型進(jìn)行行人檢測。圖5是設(shè)計的流程。

圖5

由圖5兩個流程可知，檢測流程是在訓(xùn)練流程完成結(jié)束后才能進(jìn)行，而訓(xùn)練流程是得到模型的一個流程，是實現(xiàn)行人檢測功能尤為關(guān)鍵的一個流程。其中對樣本預(yù)處理的好壞、處理恰當(dāng)與否很大程度地影響緊隨其后的模型訓(xùn)練，所以樣本處理尤為關(guān)鍵。訓(xùn)練完后需要對模型進(jìn)行保存供檢測流程使用，檢測流程顧名思義就是利用得到的模型對圖像進(jìn)行檢測，找出其中的行人進(jìn)行標(biāo)志的一個流程。這兩個流程的結(jié)合就是完整的行人檢測功能實現(xiàn)。

3.2 使用OpenCV進(jìn)行模型搭建

本文模型搭建是基于OpenCV 4.5.1開發(fā)的，使用的是Python 3.6版本的編程環(huán)境。進(jìn)行實驗的編輯器是PyCharm。

OpenCV是一個擁有許多算法的函數(shù)接口庫。OpenCV除了C++的接口還提供了Python等其他語言的接口，提供了許多用于圖像處理的技術(shù)，是一個強(qiáng)大且便利的軟件庫。其中OpenCV提供了HOG算法的函數(shù)接口，也提供了SVM算法的函數(shù)接口，所以可以使用OpenCV進(jìn)行圖像處理，也使用其中的HOG函數(shù)進(jìn)行特征提取，搭建SVM模型。

4 基于OpenCV的行人檢測實現(xiàn)

4.1 基于OpenCV的HOG特征提取

得到了符合需求的訓(xùn)練用的正負(fù)樣本集，接下來就需要對這些樣本進(jìn)行HOG特征提取。在一副圖像中，局部目標(biāo)的邊緣也就是輪廓形狀存在著梯度特性，這些梯度特性用于進(jìn)行目標(biāo)檢測時是可以很好地描述這一目標(biāo)。在OpenCV中可以使用HOG對象的一系列方法實現(xiàn)HOG特征算法，把圖像分割為多個block、cell后進(jìn)行梯度計算從而提取HOG描述子，最終把所有的描述子串聯(lián)在一起形成這張圖像的HOG特征，其流程如圖6所示。

圖6：HOG特征提取主要流程

4.1.1 提取特征前的圖像處理

本文為了彩色圖片中冗余信息對HOG檢測的干擾，首先將獲取到的樣本圖像轉(zhuǎn)換為黑白圖像，采用的是OpenCV中的cvtColor()函數(shù)實現(xiàn)將三通道（R,G,B）的圖像轉(zhuǎn)換為一個通道的黑白圖。

4.1.2 HOG特征提取

經(jīng)過處理后得到的需要訓(xùn)練樣本，輸入到HOG模塊中，以獲取描述圖像局部區(qū)域的方向和梯度特性，HOG算法對于不同圖片的光照變化背景的處理具有很強(qiáng)的魯棒性，所以在描述圖像中行人的形狀和輪廓已經(jīng)外觀特征具有一定的準(zhǔn)確性。

本文使用OpenCV中HOGDescriptor()函數(shù)進(jìn)行初始化一個HOG對象，其主要參數(shù)分別是窗口大小，塊大小，塊移動步長，單元格大小， nbins，參數(shù)含義是：

（1）窗口大小參數(shù)代表著進(jìn)行圖像掃描的檢測窗口尺寸大小，也就是滑動窗口的大小，設(shè)置為64*128，這樣的尺寸便于減少掃描時間。

（2）塊大小參數(shù)代表著分割圖像中的塊（block）的尺寸大小，cv2中只支持16*16大小。

（3）塊的移動步長參數(shù)，本次實驗設(shè)置為步長設(shè)置為8*8。

（4）單元格大小參數(shù)代表著block中每個細(xì)胞單元格cell的大小，cv2中只支持8*8大小。

（5）Nbins代表直方圖bin的數(shù)量，即一個單元格中統(tǒng)計梯度的方向數(shù)目，cv2中每個單元格Cell只支持9個。

初始化后的HOG對象，可以對已經(jīng)灰度化的圖像進(jìn)行特征提取，特征向量是一個3780*1向量，這個3780*1的一維縱向數(shù)組就是圖片的特性形狀數(shù)字化的值。可以知道一張圖像裁剪成64*128（行人檢測），然后一張圖像會得到3780個數(shù)值，這個數(shù)字也就是這張圖像特征維度。圖7為部分圖像的特征數(shù)據(jù)。

圖7：部分HOG特征數(shù)據(jù)

由圖7了解到，因為訓(xùn)練樣本都有相應(yīng)的HOG特征，需要構(gòu)建一個特征數(shù)組來保存這些特征數(shù)據(jù)。特征數(shù)組構(gòu)建的原理為，先使用list保存（list保存數(shù)據(jù)比較方便）HOG數(shù)據(jù)，再使用numpy中的np.array()函數(shù)把list轉(zhuǎn)換為數(shù)組，這時候的數(shù)組的維度是(n,3780,1)而目的是需要維度為(n,3780)所以需要用numpy中的np.resize()函數(shù)轉(zhuǎn)換維度。

正樣本和負(fù)樣本的HOG特征提取需要分開做，這樣做的原因是當(dāng)提取完正樣本后就可以構(gòu)建相應(yīng)的正樣本的標(biāo)簽（n*1維的數(shù)組），有2416個正樣本就會提取到2416個HOG特征，相應(yīng)就會有2416個正樣本標(biāo)簽，正樣本的標(biāo)簽用+1表示。以此類推，負(fù)樣本構(gòu)建標(biāo)簽類似，相對于正樣本而言負(fù)樣本有12180個，所以HOG特征有12180個，標(biāo)簽用-1表示則有12180個。為此本文構(gòu)建標(biāo)簽數(shù)組。標(biāo)簽數(shù)組的具體構(gòu)建原理為：因為現(xiàn)在選取的正樣本都是單行人，所以每一個正樣本的HOG特征都可以代表是行人的HOG特征，雖然還是會存在干擾信息，但是只要樣本數(shù)量足夠大，行人種類分布均勻就可以部分抵消這一類影響。

4.2 基于OpenCV的SVM分類器

本文使用SVM與其他傳統(tǒng)機(jī)器學(xué)習(xí)算法相比的優(yōu)點是，只需要較小的樣本就能較好地解決二類分類問題[5]，相對于其他分類器更加高效。較小的樣本的意思不是指真正的數(shù)量少，因為無論使用任何算法來實現(xiàn)二類分類，樣本數(shù)量足夠多總能得到一個好的效果；而是說，與解決的問題的繁瑣和難度上相比SVM算法進(jìn)行學(xué)習(xí)使用的數(shù)據(jù)數(shù)量比較少；而且使用SVM算法解決二類分類問題時，所使用的樣本是和圖片的維度值沒有關(guān)系的，這個特點就顯得SVM算法能更好地應(yīng)對多樣問題。即SVM不僅能解決線性的分類的問題，還可以通過懲罰變量和核函數(shù)技術(shù)來實現(xiàn)線性的不可分問題[6]。

4.2.1 SVM分類器第一次訓(xùn)練

得到了所有樣本的特征數(shù)組和標(biāo)簽數(shù)組后，本文使用基于OpenCV的SVM分類器進(jìn)行訓(xùn)練來實現(xiàn)對行人樣本和非行人樣本的分類。

SVM對象選用了epsilon類支撐向量回歸機(jī)和線性核函數(shù)后，還需要設(shè)置一些與其相關(guān)的參數(shù)。epsilon類支撐向量回歸機(jī)需要設(shè)置的參數(shù)有P、C、nu，這個三個參數(shù)分別使用svm.setP(0.1)、svm.setC(0.01)、svm.setNu(0.5)這三個函數(shù)來設(shè)置值。線性核函數(shù)需要設(shè)置的參數(shù)有coef0、gamma、degree，分別用函數(shù)svm.setCoef0(0)、svm.setDegree(3)來設(shè)置值。

本文把訓(xùn)練集的HOG特征數(shù)據(jù)和訓(xùn)練集標(biāo)簽數(shù)據(jù)輸入到SVM分類器中進(jìn)行訓(xùn)練，使用函數(shù)svm.train(hog_array, cv2.ml.ROW_SAMPLE, label_array)進(jìn)行訓(xùn)練，這個函數(shù)中的三個參數(shù)的意思分別是訓(xùn)練集的HOG特征數(shù)組，cv2.ml.ROW_SAMPLE表示訓(xùn)練數(shù)據(jù)按行排列，每一條數(shù)據(jù)（特征）占一行，最后一個參數(shù)是訓(xùn)練集標(biāo)簽數(shù)組。這樣SVM就可以利用數(shù)據(jù)自行訓(xùn)練，從而得到行人檢測的初始模型。4.2.2 模型自舉

生成初始模型后，如果使用這個模型進(jìn)行對原始負(fù)樣本圖片進(jìn)行檢測，很大程度上會對負(fù)樣本進(jìn)行誤報，也就是對負(fù)樣本檢測出行人框（假正）。為了減少誤報，本位使用初始模型對原始負(fù)樣本（1218個沒剪切的負(fù)樣本）進(jìn)行檢測識別，把錯誤識別的樣本收集起來，形成一個難例樣本集；為了讓模型更好地學(xué)會辨別負(fù)樣本，需要把收集到的難例樣本進(jìn)行HOG特征提取，得到難例樣本HOG特征數(shù)組，對應(yīng)的特征數(shù)組需要構(gòu)建難例樣本的標(biāo)簽，因為是對負(fù)樣本進(jìn)行檢測，所以收集到的難例樣本本質(zhì)上是屬于負(fù)樣本，因此標(biāo)簽都是-1。

其中收集難例樣本的實現(xiàn)流程如圖8所示。

圖8：難例樣本形成流程圖

4.3 使用檢測器進(jìn)行行人檢測

本文的行人檢測是使用HOG+SVM實現(xiàn)的，訓(xùn)練集使用的是INRIA行人檢測數(shù)據(jù)庫中的96*160的單個行人訓(xùn)練集剪切而成的2416張正樣本+12180張負(fù)樣本，SVM使用的是EPS_SVR類型的，使用的核函數(shù)是線性核函數(shù)，SVM的參數(shù)設(shè)置為Coef=0、Degree=3、Gamma=0、Nu=0.5、P=0.1、C=0.01。訓(xùn)練時進(jìn)行了1次模型自舉。精度和準(zhǔn)確度分別是99%和98%左右。

訓(xùn)練好模型后，使用這個模型進(jìn)行行人檢測。首先需要讀取行人檢測器，再使用檢測器函數(shù)detectMultiScale()對圖像進(jìn)行檢測。檢測器函數(shù)有幾個參數(shù)是很重要的，會影響著檢測的準(zhǔn)確度。其中winStride=(4, 4)是檢測窗的移動步長，padding=(8, 8)是在原圖外圍添加像素大小，還要最重要的參數(shù)scale，這個參數(shù)是可以控制圖像金字塔的層數(shù)[3]，值小層數(shù)就多花費的時間也長。scale通常在1～1.5之間。

設(shè)置完檢測器的參數(shù)后使用cv2.imread()讀取圖片數(shù)據(jù)，再把圖片數(shù)據(jù)放入檢測器函數(shù)中計算返回檢測框數(shù)據(jù)（坐標(biāo)和長寬），再把檢測框的這些數(shù)據(jù)放入到cv2.rectangle()中，然后在圖像中繪制出檢測框，最后用OpenCV庫中的cv2.imshow()把繪制好的圖像展示出來。如果有一張圖片有多個行人，則就會有多個檢測框數(shù)據(jù)，所以使用循環(huán)來遍歷出每個檢測框的數(shù)據(jù)進(jìn)行繪制到圖片上。

圖9是選用1.0、1.05、1.25、1.5scale值的對比。

圖9

由圖9可以知道scale對檢測的準(zhǔn)確度的影響。本文選取1.25的scale效果較好。

使用檢測器進(jìn)行行人檢測時，還可能會出現(xiàn)多個檢測框重疊的情況，對于這種情況可以使用非極大抑制法來進(jìn)行優(yōu)化。可以使用imutils.object_detection庫的函數(shù)non_max_suppression()進(jìn)行優(yōu)化，把HOG檢測函數(shù)檢測出的檢測框的數(shù)據(jù)（多個或者一個）放入到這個函數(shù)中，就可以得到最大的那個檢測框數(shù)據(jù)。圖10顯示了使用非極大抑制法和不使用的區(qū)別。

圖10

5 實驗結(jié)果與分析

5.1 模型性能評估標(biāo)準(zhǔn)

行人檢測是一個二分類問題，因此可以使用SVM算法訓(xùn)練成的模型進(jìn)行分類，這種模型常用的性能評估標(biāo)準(zhǔn)主要有：精確率、準(zhǔn)確率、召回率?？梢宰饕韵露x來建立這幾個評估標(biāo)準(zhǔn)的公式。

5.2 模型自舉次數(shù)對模型的影響

模型自舉的作用是為了減少模型對負(fù)樣本的誤報率，現(xiàn)在對比模型自舉次數(shù)對模型性能的影響。選取的是INRIA庫中的訓(xùn)練樣本中的2416張正樣本和12180負(fù)樣本進(jìn)行第一次訓(xùn)練。分別進(jìn)行0次、1次、5次、10次的模型自舉訓(xùn)練，使用的是INRIA庫中測試樣本中的1126個單個行人照片加上4530個負(fù)樣本進(jìn)行測試，可以得到表1所示數(shù)據(jù)。

由表1數(shù)據(jù)可以得知，基于INRIA行人數(shù)據(jù)庫進(jìn)行訓(xùn)練和測試時：沒有進(jìn)行模型自舉得到的模型，對負(fù)樣本的誤報比較嚴(yán)重；而進(jìn)行第一次模型自舉后對負(fù)樣本的誤報有所下降，雖然正樣本的漏報率反而提高了，但是對比誤報率降低的程度，漏報率的提高在接受的范圍內(nèi)；接著進(jìn)行5次模型自舉，這次得到的模型誤報率有所下降但是恨不明顯，反而漏報率提高的很明顯，這樣是得不償失的；進(jìn)行到10次后得到的模型精確率和準(zhǔn)確率、召回率相比進(jìn)行一次模型自舉的都要低。所以由本次實驗可以推出來的結(jié)果是，在基于INRIA行人數(shù)據(jù)庫進(jìn)行訓(xùn)練時，進(jìn)行一次模型自舉就可以得到較好的行人檢測模型。因此，首選一次模型自舉的操作。

表1：改變模型自舉次數(shù)的模型對比

由此可以總結(jié)，模型自舉是可以有效的減少誤報的情況，但是降低誤報率到一定程度后誤報的情況不會在減少趨于穩(wěn)定，反而漏報率會提高，得不償失，所以使用模型自舉時需要注意次數(shù)不要多，只需要適當(dāng)?shù)拇螖?shù)就能提高模型的性能。

6 結(jié)論

經(jīng)過本次對HOG特征算法和SVM算法分類器的應(yīng)用和實驗，發(fā)現(xiàn)這兩者的結(jié)合在行人檢測的應(yīng)用上具有良好的效果。HOG+SVM的行人檢測具有兩大優(yōu)勢，第一HOG特征可以根據(jù)局部特征很好地描述出行人的特征，對單一行人圖片的特征描述的更加準(zhǔn)確，而且HOG算法進(jìn)行特征提取的效率快而準(zhǔn)確；第二使用SVM算法進(jìn)行模型訓(xùn)練可以更快更準(zhǔn)確的得到分類模型，對干擾少的圖片分辨力強(qiáng)。

HOG+SVM的行人檢測也存在缺點，一是如果圖像的行人很多且很密集，容易出現(xiàn)漏報行人和出現(xiàn)一個檢測的方形框，把兩個或者三四個行人框住的情況；二是當(dāng)圖像中的特征不是很明顯或者存在人形雕像或者類似人形的圖案，影子之類的物體也會檢測為行人，會出現(xiàn)誤報。三是對于坐在物體上的人和坐在車上的人以及靠太近的行人識別不出來。這還需要之后進(jìn)一步的探索。