基于改進(jìn)的NC-HOG特征的工程車車型自動(dòng)識別算法

羅 亮，呂俊杰，李 濤，張 勁，劉俊勇+，劉友波

(1.國家電網(wǎng)四川省電力公司 阿壩供電公司 建設(shè)部，四川 阿壩 623200；2.國家電網(wǎng)四川省電力公司 天府新區(qū)供電公司，四川 成都 610041；3.四川大學(xué) 電氣工程學(xué)院，四川 成都 610065)

0 引 言

車型識別技術(shù)在交通管控、停車場管理等方面發(fā)揮了重要的作用，但受實(shí)際條件與識別算法的限制，沒有哪一種方法能適用于任何場景[1,2]。針對施工工地，工程車輛的有效管理是保證施工效率的首要前提，但現(xiàn)有的監(jiān)管方式大多依賴人力，無法保證監(jiān)管的效率，因此車型識別技術(shù)為工地管理提供了新的解決辦法。

車型的識別方法主要針對于特定環(huán)境，適應(yīng)性較差。目前，應(yīng)用場景主要分為兩大類：①基于交通環(huán)境，Honghui Dong等[3]提出了一種基于原始磁信號的短時(shí)方差序列的車輛檢測算法，從每個(gè)車輛信號中提取42維特征，用梯度樹Boosting算法對車型進(jìn)行識別；張鵬等[4-6]提取交通視頻中車輛的SIFT(scale-invariant feature transform)作為特征，在SVM(support vector machine)分類器中完成車型分類；陳立潮等[7]將循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)融合并嵌入二級框架，改進(jìn)了傳統(tǒng)卷積模型使得對全局特征更為敏感；Azam S等[8,9]利用Faster-RCNN算法對車輛的不同方向進(jìn)行檢測，與傳統(tǒng)的RCNN相比，檢測速度加快，檢測區(qū)域更為精確；張志永[10]使用膠囊網(wǎng)絡(luò)算法與Faster RCNN結(jié)構(gòu)實(shí)現(xiàn)車型識別，實(shí)驗(yàn)結(jié)果表明，在BIT-vehicle數(shù)據(jù)集中5種車型的平均識別率達(dá)到了91.27%。②基于停車場等靜態(tài)環(huán)境，Tschentscher 等[11]通過提取車位高斯差分DOG(difference of Gaussian)特征與顏色直方圖作為特征向量，采用SVM分類器對其進(jìn)行分類訓(xùn)練，實(shí)現(xiàn)空閑車位的檢測；Amit Kumar等[12,13]根據(jù)車輛的高度和長度等輪廓信息進(jìn)行車型分類；此外邵宇[2]采用傳統(tǒng)的HOG(histogram of oriented gridients)特征，利用背景差分法對礦場監(jiān)控視頻中挖掘機(jī)進(jìn)行檢測識別，但由于樣本過小且識別對象單一，適用性較差；黃俊潔[14]使用深度學(xué)習(xí)方法，在Fast R-CNN部分引入在線難例挖掘算法，利用工地電桿攝像頭拍攝的圖像作為訓(xùn)練集，實(shí)驗(yàn)結(jié)果表明對工程車有較好的識別率，缺點(diǎn)是需要使用大量的數(shù)據(jù)樣本進(jìn)行訓(xùn)練，實(shí)用性仍有局限。

盡管目前已有針對于車型識別的方法，但多是基于交通與停車場等監(jiān)控覆蓋較為全面的場景，由于施工工地地形復(fù)雜、監(jiān)控難以覆蓋等原因，相關(guān)研究仍比較罕見且局限性較大。

基于以上背景，本文提出一種用于施工工地的基于改進(jìn)的HOG特征的工程車車型識別算法。首先利用RPN(region proposal network)深度學(xué)習(xí)網(wǎng)絡(luò)[15]對工程車輛目標(biāo)區(qū)域進(jìn)行自動(dòng)分割；其次提出自然度保留的圖像增強(qiáng)方法對工程車的暗部細(xì)節(jié)進(jìn)行增強(qiáng)，并結(jié)合顏色不變性處理去除地面陰影，使得在該處理圖像上提取的HOG特征能更加完整描述工程車的真實(shí)輪廓；然后將自然度保留增強(qiáng)圖像的NPE-HOG特征和陰影去除圖像的CIV-HOG特征融合得到的NC-HOG特征，結(jié)合一對一支持向量機(jī)實(shí)現(xiàn)對壓路機(jī)、挖掘機(jī)、裝載機(jī)3類工程車輛的自動(dòng)識別，有助于后續(xù)對各類工程車在工地填壓情況的監(jiān)測。

1 基于改進(jìn)的車型自動(dòng)識別算法

本文采用無人機(jī)采集航拍視頻序列，使用RPN深度學(xué)習(xí)網(wǎng)絡(luò)對工程車輛在圖像中進(jìn)行了檢測與標(biāo)記，自動(dòng)分割車輛的目標(biāo)候選區(qū)域；然后對車輛目標(biāo)區(qū)域進(jìn)行自然度保留圖像增強(qiáng)處理并提取NPE-HOG特征，同時(shí)進(jìn)行顏色不變性處理并提取CIV-HOG特征，將兩者融合為NC-HOG特征，結(jié)合SVM對特征分類提取的先驗(yàn)?zāi)Ｐ瓦M(jìn)行分類，區(qū)分壓路機(jī)、挖掘機(jī)、裝載機(jī)3類工程車輛，實(shí)現(xiàn)了對3類工程車輛的自動(dòng)識別。圖1是本文提出的車型自動(dòng)識別算法的流程。

圖1 車型自動(dòng)識別系統(tǒng)的流程

1.1 基于RPN深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)的復(fù)雜環(huán)境下工程車輛ROI分割算法

由于利用傳統(tǒng)的基于公路環(huán)境的車輛檢測方法不能對工地環(huán)境中的工程車進(jìn)行識別，而且傳統(tǒng)車輛檢測方法多是基于車載攝像頭或道路監(jiān)控錄像設(shè)備錄制的視頻進(jìn)行識別的。本文基于RPN深度學(xué)習(xí)網(wǎng)絡(luò)[15]來實(shí)現(xiàn)對工程車輛的分割，得到了較好的識別標(biāo)注效果，為后續(xù)對車型的分類識別奠定了基礎(chǔ)。圖2是RPN。

圖2 RPN

RPN以任意大小的圖像作為輸入，輸出一組矩形的目標(biāo)提議，每個(gè)提議都有一個(gè)目標(biāo)得分。為了生成區(qū)域提議，在VGG-16最后的共享卷積層輸出的卷積特征圖后面設(shè)立了一個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)。這個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)將VGG-16 最后的共享卷積層輸出的卷積特征圖作為輸入，使用3*3的卷積核，卷積核個(gè)數(shù)為512，進(jìn)行卷積操作，后面再加一個(gè)ReLU激活函數(shù)。最后特征被輸入到兩個(gè)子全連接層:一個(gè)邊界框回歸層和一個(gè)邊界框分類層，其中子全連接層是用1×1卷積來實(shí)現(xiàn)的，邊界框回歸層的卷積核個(gè)數(shù)為4k，邊界框分類層的卷積核個(gè)數(shù)為2k，k的值為每個(gè)位置可能提議的最大數(shù)目，然后使用3個(gè)尺度和3個(gè)長寬比，在每個(gè)滑動(dòng)位置產(chǎn)生k=9個(gè)錨點(diǎn)。最終輸出的建議是邊界框回歸層與邊界框分類層通過非極大值抑制來消除冗余的邊界框，從而找到最佳的工程車輛的目標(biāo)邊界框。圖3是利用RPN算法對一個(gè)視頻幀的處理結(jié)果，自動(dòng)分割出3類工程車輛ROI區(qū)域。

圖3 工程車輛ROI區(qū)域自動(dòng)分割

1.2 本文提出的工程車車輛NC_HOG特征提取

對于挖掘機(jī)、壓路機(jī)和裝載機(jī)3種工程車車型，三者最大的區(qū)別在于其形狀特征不同，而在提取特征過程中，工程車地面陰影邊緣可能會被當(dāng)作工程車形狀特征的一部分，從而影響自動(dòng)識別效果。本文提出了一種結(jié)合自然度保留圖像增強(qiáng)處理和顏色不變性處理的工程車車型特征提取算法，該算法步驟如圖4所示。

圖4 工程車車型特征NC_HOC提取算法流程

在提取工程車形狀特征前，對工程車圖像進(jìn)行基于自然度保留的圖像增強(qiáng)處理，提取NPE_HOG特征；同時(shí)對工程車圖像進(jìn)行基于顏色不變性的陰影去除處理，提取CIV_HOG特征。然后根據(jù)兩種圖像處理的優(yōu)缺點(diǎn)進(jìn)行特征拼接融合，最后提取NC_HOG特征，如式(1)所示

(1)

其中

N=length(NPE_HOG)=length(CIV_HOG)

(2)

由于自然度保留圖像增強(qiáng)處理過程中改變了原始圖像的光照，若直接對自然度保留圖像增強(qiáng)后的圖像EOc(x,y) 進(jìn)行陰影去除處理是不準(zhǔn)確的，所以基于自然度保留的圖像增強(qiáng)處理和基于顏色不變性的陰影去除處理需要對原始圖像O(x,y) 同時(shí)進(jìn)行，分別得到暗部細(xì)節(jié)增強(qiáng)圖像EOc(x,y) 和無陰影圖像COc(x,y)。 對兩幅圖像同時(shí)提取HOG特征，分別得到NPE_HOG特征和CIV_HOG特征，其計(jì)算過程如下：

分別將EOc(x,y) 和COc(x,y) 進(jìn)行尺寸變換和灰度轉(zhuǎn)換，得到256×256灰度圖像GEOc(x,y) 和GCOc(x,y)。 計(jì)算灰度圖像每個(gè)像素點(diǎn) (x,y) 的梯度

Gx(x,y)=V(x+1,y)-V(x-1,y)

(3)

Gy(x,y)=V(x,y+1)-V(x,y-1)

(4)

其中，Gx(x,y) 和Gy(x,y) 表示像素點(diǎn) (x,y) 的水平方向梯度和垂直方向梯度，V(x,y) 是像素點(diǎn) (x,y) 的像素值。根據(jù)式(5)、式(6)，計(jì)算像素點(diǎn) (x,y) 的梯度幅值G(x,y) 和梯度方向α(x,y)

(5)

(6)

自然度保留圖像增強(qiáng)圖像EOc(x,y) 的梯度幅值和梯度方向分別為GE(x,y) 和αE(x,y)， 無陰影圖像COc(x,y) 的梯度幅值和梯度方向分別為Gc(x,y) 和αc(x,y)。將自然度保留圖像增強(qiáng)圖像和無陰影圖像的梯度幅值按照8×8像素/細(xì)胞，2×2細(xì)胞/塊組合HOG特征向量，得到NPE_HOG特征和CIV_HOG特征。圖5(a)是原圖像經(jīng)過自然度保留圖像增強(qiáng)后提取的HOG圖像，圖5(b)是原圖像去除陰影后提取的HOG圖像，圖5(c)是經(jīng)過特征融合算法處理后的HOG圖像，該圖像既保留了圖像細(xì)節(jié)，又去除了陰影。

圖5 基于不同處理方法的車輛HOG圖像

1.2.1 基于自然細(xì)節(jié)保留的圖像增強(qiáng)

HOG最早由Navneet提出，通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖得到。為了減少光照因素的影響，有效降低圖像局部的陰影和光照變化，HOG算法首先將圖像轉(zhuǎn)換到標(biāo)準(zhǔn)化Gamma空間，即使用Gamma壓縮式(7)對原始圖像進(jìn)行壓縮

G(x,y)=O(x,y)γ

(7)

其中，O(x,y) 為原始圖像，γ為校正因子，范圍為(0，1)，G(x,y) 為原始圖像經(jīng)Gamma壓縮后得到的圖像。

而在實(shí)際應(yīng)用中，不同圖像需設(shè)置不同的γ值，該種方法不具備自適應(yīng)性。本文針對光照處理，提出一種可保留原圖像自然度和細(xì)節(jié)的圖像增強(qiáng)方法，可改善圖像局部變化和保留強(qiáng)度的整體趨勢，增強(qiáng)圖像細(xì)節(jié)的同時(shí)也能保留自然色彩。NPE自然度保留圖像增強(qiáng)方法的流程如圖6 所示。

圖6 NPE自然度保留圖像增強(qiáng)方法流程

(1)基于光照均值濾波的圖像分解

圖像可被分解到不同的特征空間，全局自然度空間包含低頻信息和光照分量I(x,y)， 局部細(xì)節(jié)空間包含高頻信息和反射分量R(x,y)。 根據(jù)Retinex模型[16]，原始圖像O(x,y) 是反射分量和光照分量的乘積

O(x,y)=R(x,y)·I(x,y)

(8)

大部分基于Retinex理論[16]將原圖的3個(gè)顏色分量中的最大亮度分量L(x,y) 作為光照初步估計(jì)，其操作可表示為

(9)

其中，Oc(x,y) 表征原始圖像O(x,y) 在 (x,y) 點(diǎn)處像素R、G、B三顏色分量的向量值。

然而，對于光照非歸一化圖像而言，圖像光照強(qiáng)度與全局最大響應(yīng)無關(guān)，而與局部最大響應(yīng)有關(guān)。因此本文將改進(jìn)的局部Max-RGB算法作為初步光照估計(jì)，該算法假設(shè)圖像局部區(qū)域的光照強(qiáng)度為常數(shù)，則根據(jù)式(10)計(jì)算圖像的初步光照分量

(10)

研究表明，為了更加精準(zhǔn)地估計(jì)光照分量初值，Ω選擇15×15的局部區(qū)域[17]，在此區(qū)域內(nèi)光照強(qiáng)度為常量。

大部分光照估計(jì)是通過對最大分量進(jìn)行低通濾波、Guassian濾波或Bilateral濾波[18-20]，從而得到光照分量的，但這類濾波會導(dǎo)致光照分量比反射光線更暗。本文基于每個(gè)像素的光照是局部最大值的假設(shè)[21]，提出了一種光照濾波方法來進(jìn)行光照分量的估計(jì)，考慮了反射率的變化范圍，避免過度增強(qiáng)。光照均值濾波(lightness mean filter，LMF)能更好地估計(jì)比真實(shí)光照更亮的圖像邊緣周圍的暗光照區(qū)域，可將反射率限制在[0,1]范圍內(nèi)。

將像素P(x,y) 的鄰居設(shè)置為八連通性的九像素單元NP(x,y)

NP(x,y)={P(x-1,y-1),P(x-1,y),
P(x-1,y+1),P(x,y-1),P(x,y),
P(x,y+1),P(x+1,y-1),P(x+1,y),
P(x+1,y+1)}

(11)

定義一個(gè)像素值k為像素點(diǎn)Pk(x,y)， 將該像素的九像素單元內(nèi)像素值為l的像素個(gè)數(shù)記為NPk,l(x,y)， 統(tǒng)計(jì)整張圖像上的像素分布，中心點(diǎn)像素值為k， 其8鄰域中像素值為l的頻率用Q′(k,l)， 可用式(12)計(jì)算得到

(12)

由于Q′(k,l) 受圖像噪聲影響且變化粗糙，本文采用局部平均頻率Q(k,l)

(13)

其中，w是滑動(dòng)窗尺寸，需要設(shè)置在灰度級范圍內(nèi)

w=(max(P(x,y))-min(P(x,y)))/32

(14)

將光照均值濾波 (LMF[·]) 定義為對相鄰像素根據(jù)局部平均頻率Q(k,l) 進(jìn)行正相關(guān)加權(quán)平均的操作

(15)

其中，Ω是15×15的局部區(qū)域，單元操作函數(shù)U(x,y) 只計(jì)算比中心像素更亮的相鄰像素，歸一化函數(shù)H(x,y) 保證所有像素權(quán)重和為1

H(x,y)=∑(i,j)∈Ω(Q(P(x,y),P(i,j))·
U(G(i,j),P(x,y)))

(16)

用LMF[·] 將式(10)的光照初步估計(jì)進(jìn)行優(yōu)化得到精確的光照分量Lb(x,y)

(17)

由于原始圖像未做歸一化處理，其R、G、B這3個(gè)顏色通道應(yīng)該具有相同的光照分量。根據(jù)Retinex理論的式(8)，每一顏色通道的反射分量Rc(x,y) 可由式(18)求得

(18)

(2)光照分量增強(qiáng)

光照變化范圍太大不利于細(xì)節(jié)顯示，所以將原圖分解為光照分量和反射分量后，需將光照分量的亮度調(diào)節(jié)到足夠大并且要遵從原始的亮度順序，這樣操作能增強(qiáng)細(xì)節(jié)同時(shí)保留了圖像原始的自然度。由于直方圖規(guī)定化操作可保留原始的亮度順序，本文采用log形狀的直方圖進(jìn)行光照映射

Llog(x,y)=log(Lb(x,y)+μ)(μ=1)

(19)

(3)反射分量與光照增強(qiáng)分量的合成

將反射分量Rc(x,y) 和增強(qiáng)后的光照分量Llog(x,y) 合成可得到最后的自然度保留圖像增強(qiáng)圖像

EOc(x,y)=Rc(x,y)×Llog(x,y)

(20)

由于增強(qiáng)光照分量圖中不同局部區(qū)域的亮度順序與原始圖像的亮度順序一致，反射率為1的像素的相對順序也并沒有發(fā)生改變。并且自然度保留圖像增強(qiáng)圖像的3個(gè)顏色通道比值與原始圖像的比值保持一致，所以原始圖像的色調(diào)得以保留。

1.2.2 基于顏色不變性的工程車陰影去除

經(jīng)過上一步自然度保留圖像增強(qiáng)后的圖像的暗部細(xì)節(jié)得到了亮度調(diào)整，但其陰影邊緣依然存在，工程車陰影的梯度邊緣明顯，將會影響工程車的形狀特征，所以這一步基于圖像的顏色不變性對陰影進(jìn)行消除。成像設(shè)備在獲取圖像時(shí)，只能記錄物體在不同光源下所呈現(xiàn)的顏色，而不是物體本身的固有色。顏色不變性計(jì)算可消除不同光照對圖像顏色的影響，從而得到與光照無關(guān)的物體表面的顏色特性。場景中的陰影具有表面強(qiáng)度改變大而色度幾乎不變的特性，所以可利用顏色不變性對陰影進(jìn)行去除。

首先需要獲取顏色不變分量，如下式

(21)

(22)

(23)

其中，r,g,b是原始圖像的RGB這3個(gè)顏色通量分量，r′,g′,b′是3個(gè)通道的顏色不變圖。將處理過的r′,g′,b′重新合成為新的彩色圖像，即

(24)

圖7展示了顏色不變性處理的效果，圖7(a)是帶有陰影的壓路機(jī)原始圖像，圖7(b)是使用式(21)～式(23)處理后的去除影子的顏色不變圖，圖7(c)～圖7(e) 分別是紅色、綠色和藍(lán)色通道的顏色不變分量。

圖7 顏色不變性處理效果

1.3 SVM分類器

SVM[22]是建立在統(tǒng)計(jì)學(xué)習(xí)理論上的方法，最早由Cortes和Vapnik提出，通過選擇一組特征子集，使目標(biāo)函數(shù)對特征子集的劃分等同于對整體數(shù)據(jù)集的劃分。訓(xùn)練結(jié)果取決于樣本的選取，本文選取3種車型圖像作為樣本，提取圖像的NC_HOG特征向量作為SVM的輸入數(shù)據(jù)，進(jìn)行分類器的訓(xùn)練，將其轉(zhuǎn)化為能直接用于檢測的檢測算子。SVM是一個(gè)二值分類器，在處理多類問題時(shí)需要構(gòu)造合適的多類分類器，本文采用一對一支持向量機(jī)，即任意兩類樣本之間構(gòu)建一個(gè)SVM，因此k個(gè)樣本就需要k(k-1)/2個(gè)SVM。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 工地車車型數(shù)據(jù)庫

本文采用大疆無人機(jī)在國家電網(wǎng)四川某施工工地進(jìn)行數(shù)據(jù)采集，現(xiàn)場環(huán)境穩(wěn)定，除必要的施工車輛作業(yè)，沒有其它較大的人為干擾，保持相機(jī)光學(xué)參數(shù)一致。采用人工標(biāo)定工程車區(qū)域作為標(biāo)準(zhǔn)，建立總共5200張帶有標(biāo)準(zhǔn)標(biāo)簽的包含不同角度不同位置的3種工程車標(biāo)準(zhǔn)數(shù)據(jù)庫。其中壓路機(jī)2100張，挖掘機(jī)1700張，裝載機(jī)1400張。

2.2 基于RPN深度學(xué)習(xí)算法的工程車輛ROI區(qū)域提取結(jié)果與分析

本文使用大疆無人機(jī)設(shè)備對工地施工環(huán)境錄制了視頻，針對不同場景的視頻做了分類。對視頻分幀后進(jìn)行目標(biāo)車輛的自動(dòng)檢測，并保存檢測標(biāo)記出的工程車輛位置坐標(biāo)。為了對工程車輛自動(dòng)檢測效果進(jìn)行評估，采取多人標(biāo)記取平均的方法對同批數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)記，將圖像中工程車的邊界范圍以坐標(biāo)點(diǎn)形式進(jìn)行存儲。通過基于RPN深度學(xué)習(xí)算法自動(dòng)標(biāo)記的工程車輛的中心點(diǎn)坐標(biāo)與手動(dòng)標(biāo)記的該車輛的中心點(diǎn)坐標(biāo)的對比，對該算法自動(dòng)檢測結(jié)果進(jìn)行判定，最終得到每一工程車車型的標(biāo)記正確率。

假設(shè)原始圖像上手動(dòng)標(biāo)記的車輛邊界范圍坐標(biāo)是 (xi,yi)， 其中i=1,2,3,4。 則有中心點(diǎn)坐標(biāo)

(25)

基于RPN深度學(xué)習(xí)算法在原始圖像上自動(dòng)檢測出目標(biāo)工程車輛的標(biāo)記框，用類似方式計(jì)算出O′(u′,v′)， 若基于RPN深度學(xué)習(xí)算法標(biāo)記產(chǎn)生的O′(u′,v′) 與手動(dòng)標(biāo)記產(chǎn)生的O(u,v) 滿足關(guān)系式(26)，則基于RPN深度學(xué)習(xí)算法的自動(dòng)標(biāo)記結(jié)果正確，不滿足則為標(biāo)記有誤

(26)

本實(shí)驗(yàn)基于RPN深度學(xué)習(xí)算法，對實(shí)驗(yàn)數(shù)據(jù)庫中的所有視頻圖像幀進(jìn)行工程車輛的自動(dòng)標(biāo)記。針對3個(gè)不同場景選取了部分代表圖像，其標(biāo)記結(jié)果如圖8所示。

圖8 針對部分圖像的工程車標(biāo)記結(jié)果

分析圖8可知，部分圖像不能夠得到與真實(shí)情況完全相同的自動(dòng)標(biāo)記結(jié)果，會存在標(biāo)記過多或過少的情況。本文正是根據(jù)自動(dòng)標(biāo)記的定位結(jié)果，提出基于保留自然度的圖像增強(qiáng)與顏色不變性處理的車型識別特征提取算法，并結(jié)合SVM分類器實(shí)現(xiàn)工程車車型的自動(dòng)識別。

本文基于RPN深度學(xué)習(xí)算法對3種類型的工程車輛(壓路機(jī)、挖掘機(jī)、裝載機(jī))進(jìn)行自動(dòng)檢測與區(qū)域提取，對比同批數(shù)據(jù)庫的手動(dòng)標(biāo)記結(jié)果，分別計(jì)算每類工程車輛的自動(dòng)檢測效果，得到如表1所示正確率。標(biāo)記圖像3類工程車一共5200張，其中壓路機(jī)2100張，挖掘機(jī)1700張，裝載機(jī)1400張。

表1 工程車輛ROI檢測符合要求的正確率

由表1可知，基于RPN深度學(xué)習(xí)算法自動(dòng)標(biāo)記3類工程車輛的正確率均在85%以上，基本能夠?qū)崿F(xiàn)工程車的自動(dòng)識別。

2.3 光照處理效果對比分析

綜合實(shí)際的施工環(huán)境和天氣，大部分施工時(shí)間集中在天氣較好時(shí)期，無論是傳統(tǒng)的監(jiān)控?cái)z像還是無人機(jī)，采集到的施工現(xiàn)場數(shù)據(jù)都不可避免地存在地面陰影。嚴(yán)重的背光會影響工程車的真實(shí)輪廓，導(dǎo)致暗部的車型輪廓邊緣與地面陰影邊緣發(fā)生粘連。所以本文針對HOG特征提取的第一步光照處理進(jìn)行了改進(jìn)，獲取更多的背光暗部細(xì)節(jié)，圖9展示了不同光照處理方法對于不同車型的處理結(jié)果。圖9(a)是原圖，圖9(b)是Gamma校正效果圖，圖9(c) 是多尺度圖像增強(qiáng)效果圖，與原圖相比Gamma校正和多尺度圖像增強(qiáng)后，陰影部分的細(xì)節(jié)展現(xiàn)得到提升，但非陰影區(qū)域尤其是直接光照區(qū)域被過度增強(qiáng)了，且對比圖9(c)發(fā)現(xiàn)該圖像增強(qiáng)效果并不穩(wěn)定，容易造成圖像全局過度增強(qiáng)，而導(dǎo)致其本身車身的輪廓細(xì)節(jié)區(qū)分不明顯。圖9(d)是本文提出的自然度保留圖像增強(qiáng)處理效果圖。與原圖相比其更多展現(xiàn)了陰影區(qū)域的細(xì)節(jié)，能明顯區(qū)分出輪胎與陰影的交界線。與多尺度增強(qiáng)圖9(c)相比，其自然度保留圖像增強(qiáng)效果更自然，是因?yàn)楸疚牡姆椒▋H僅增加了陰影部分的光照強(qiáng)度，對于其反射分量并沒有改變，其3個(gè)顏色通道比值也與原圖比值保持一致，所以地面和車身區(qū)域的原有色彩得以保留。

圖9 不同車型的不同光照處理方法效果

2.4 梯度幅值輪廓圖結(jié)果與分析

對于挖掘機(jī)、壓路機(jī)和裝載機(jī)3種工程車車型，其三者最顯著的區(qū)別在于形狀特征，本文使用梯度的方向分布進(jìn)行邊緣特征描述，在梯度計(jì)算前分別進(jìn)行了自然度保留圖像增強(qiáng)、陰影去除等處理。

圖10(a)是壓路機(jī)工程車的側(cè)面圖，在無光照處理下直接使用原圖的灰度圖進(jìn)行梯度幅值計(jì)算結(jié)果如圖10(b)所示，圖10(c)是進(jìn)行Gamma校正后再計(jì)算梯度幅值的結(jié)果，兩者對比可明顯發(fā)現(xiàn)，Gamma校正后的梯度幅值能大致描述工程車的輪廓，所以梯度計(jì)算前進(jìn)行一定的光照處理是必要的。圖10(d)是使用本文提出的自然度保留圖像增強(qiáng)方法處理后再計(jì)算梯度幅值的結(jié)果圖，與Gamma校正的圖10(c)對比可發(fā)現(xiàn)圖10(d)對背光陰影中輪胎部分的輪廓細(xì)節(jié)描述比圖10(c)更細(xì)致，然而兩種方法都沒有去除地面的陰影輪廓。為避免陰影輪廓對工程車形狀輪廓的影響，本文利用顏色不變性對原圖進(jìn)行了陰影去除處理，圖10(e)是陰影去除后的梯度幅值圖，陰影輪廓已明顯被去除。但由于車頂和滾筒反射了陽光，使得車頂和滾筒輪廓與陰影一起被消除了，導(dǎo)致工程車上半部分的輪廓并不完整?？紤]到無人機(jī)的數(shù)據(jù)采集角度和施工時(shí)的自然環(huán)境，工程車的陰影總是出現(xiàn)在圖像的下半部分，所以結(jié)合了自然度保留圖像增強(qiáng)和顏色不變性處理，將圖10(d)的上半部分梯度幅值和圖10(e)的下半部分梯度幅值進(jìn)行了拼接得到圖10(f)最后的工程車梯度輪廓圖。由本文方法得到的工程車梯度輪廓圖10(e)與傳統(tǒng)HOG方法得到的梯度輪廓圖10(c)相比，可明顯看出本文方法可去除地面上的工程車陰影輪廓，同時(shí)也保留了車頂與滾筒輪廓，可獲得更符合工程車真實(shí)形狀的準(zhǔn)確輪廓。

圖10 梯度幅值對比

2.5 工程車車型識別率對比分析

本文在特征提取前進(jìn)行了自然度保留圖像增強(qiáng)和顏色不變性處理，再分別對自然度保留圖像增強(qiáng)處理圖像提取NPE_HOG特征、對顏色不變性處理圖像提取CIV_HOG特征、將兩個(gè)特征融合為NC_HOG特征，對原圖提取ORI_HOG 特征、對Gamma校正處理圖像提取GAM_HOG特征，同時(shí)將其與圖像領(lǐng)域常用的特征描述子SIFT特征和LBP特征[23]等對車型識別率的影響進(jìn)行對比分析，識別正確率見表2。

表2 各特征的車型自動(dòng)識別正確率

從表2可知，在原圖上提取的HOG、LBP、SIFT特征中，SIFT有更高的識別正確率達(dá)88.30%。而對Gamma校正、自然度保留圖像增強(qiáng)和顏色不變性處理后的圖像提取的HOG特征均要比LBP特征和SIFT特征具有更高的識別正確率，HOG特征的識別正確率均在80%以上，經(jīng)過Gamma校正和本文方法處理后提取的HOG特征識別正確率均在90%以上。對于三者特征，將自然度保留圖像增強(qiáng)和顏色不變性相結(jié)合提取的HOG特征相較于其它處理具有更高的識別正確率達(dá)93.00%，與原圖直接提取的HOG特征正確率相比提升了8.8%；在本文自然度保留圖像增強(qiáng)方法處理圖像上提取的LBP和SIFT特征相較于其它處理具有更高的識別正確率，與原圖上提取的特征相比，LBP特征識別正確率提升了15.5%，SIFT特征識別正確率提升了2.7%。

圖11展示了各特征的車型識別正確率趨勢對比，對于HOG特征，進(jìn)行Gamma校正和本文自然度保留圖像增強(qiáng)方法處理后再提取的HOG特征識別正確率較原圖有明顯提升，且本文自然度保留圖像增強(qiáng)方法略微優(yōu)于傳統(tǒng)Gamma校正。對于SIFT特征,由于其本身不受光照影響，所以在原圖、Gamma處理圖像和自然度保留圖像增強(qiáng)處理圖像上提取的SIFT特征的識別正確率差距不大。三者特征中，LBP特征整體識別效果最差，因?yàn)長BP是一種描述圖像局部紋理的特征算子，而3種工程車區(qū)別主要在于其形狀輪廓，使得LBP特征在車型識別上效果不理想。從3種特征的正確率趨勢上能明顯看出，從顏色不變性處理圖像上提取的三者特征較其它處理有著顯著更低的正確率，是因?yàn)轭伾蛔冃蕴幚砗蟮膱D像去除了陰影但同時(shí)缺失陽光直射區(qū)域使得車頂部分被抹去，在不完整車輛圖像上提取的車輛特征具有較差的識別效果。將自然度保留圖像增強(qiáng)和顏色不變性處理相結(jié)合僅提高了HOG特征的識別正確率，是因?yàn)樽匀欢缺Ａ魣D像增強(qiáng)的圖像補(bǔ)全了顏色不變性處理圖像上缺失的車輛特征，而HOG特征計(jì)算圖像梯度可表達(dá)圖像的輪廓特征，能較準(zhǔn)確提取不含地面陰影的車輛整體輪廓特征。由三者的整體趨勢可看出，對于HOG和LBP特征，本文的自然度保留圖像增強(qiáng)方法相較于傳統(tǒng)的Gamma校正在一定程度上能提升識別正確率；顏色不變性處理并不能提高3種特征的識別正確率，但將自然度保留圖像增強(qiáng)和顏色不變性處理相結(jié)合后提取的HOG特征能大幅提升識別正確率。

圖11 基于不同特征的車型識別正確率趨勢對比

3 結(jié)束語

本文針對施工工地上的車輛車型檢測領(lǐng)域的研究缺乏現(xiàn)狀，提出了一種基于改進(jìn)的HOG特征的自動(dòng)檢測算法。在國家電網(wǎng)施工工地使用無人機(jī)進(jìn)行數(shù)據(jù)采集，自行建立了包含壓路機(jī)、挖掘機(jī)和裝載機(jī)3種車型的工程車數(shù)據(jù)庫。首先針對施工現(xiàn)場環(huán)境，本文利用RPN算法對工地施工環(huán)境下的工程車輛目標(biāo)區(qū)域進(jìn)行自動(dòng)劃分；結(jié)合自然度保留圖像增強(qiáng)處理和顏色不變性處理，可去除車輛的地面陰影并增強(qiáng)車輪與地面陰影區(qū)域的分界，進(jìn)行該處理后提取的HOG特征能更準(zhǔn)確展現(xiàn)工程車的車輛輪廓。再結(jié)合SVM分類器進(jìn)行3種車型的自動(dòng)判別，最高識別正確率達(dá)93.00%。實(shí)驗(yàn)結(jié)果表明，本文提出的方法較傳統(tǒng)的HOG特征的識別正確率有明顯提升，但自然度保留圖像增強(qiáng)處理和顏色不變性處理相結(jié)合的方法并沒有提高LBP和SIFT特征的識別正確率。目前該處理還只適用于HOG特征的優(yōu)化，該處理在其它特征上的優(yōu)化適應(yīng)是本文下一步的研究重點(diǎn)。